CKTIS / Java
Java-Strings als UTF-8 und UTF-16BE kodieren
Kodiere Text mit `String.getBytes(Charset)` als Bytes. Lerne, warum `Euro €` in UTF-8 8 Bytes und in UTF-16BE 12 Bytes belegt und warum UTF-16BE nicht immer zwei Bytes pro Codepunkt benötigt.
Version: Java SE 21
Syntax
import java.nio.charset.StandardCharsets;
byte[] utf8 = text.getBytes(StandardCharsets.UTF_8);
byte[] utf16be = text.getBytes(StandardCharsets.UTF_16BE);StandardCharsets.UTF_8 und StandardCharsets.UTF_16BE sind Konstanten vom Typ Charset im Paket java.nio.charset. Beide stehen in jeder Java-SE-21-Implementierung zur Verfügung. String.getBytes(Charset) kodiert den Text in ein neues byte[]. Gib für Dateien oder Protokolle die verlangte Kodierung ausdrücklich an. getBytes() ohne Argument nutzt die Standardkodierung der JVM, die in Java SE 21 UTF-8 ist, sofern sie nicht implementierungsspezifisch geändert wird.
UTF-8 benötigt 1 bis 4 Bytes pro Unicode-Skalarwert, also pro Codepunkt außerhalb des Surrogatbereichs U+D800–U+DFFF. UTF-16BE schreibt jede 16-Bit-Codeeinheit als zwei Bytes, wobei das höherwertige Byte zuerst kommt. Es fügt keine Byte-Reihenfolgemarkierung (BOM) hinzu. StandardCharsets.UTF_16 schreibt beim Kodieren dagegen eine BOM und verwendet die Big-Endian-Reihenfolge.
Euro € enthält fünf ASCII-Zeichen einschließlich des Leerzeichens und zusätzlich €. Das ergibt 5 × 1 + 3 = 8 Bytes in UTF-8 und 6 × 2 = 12 in UTF-16BE. Ein ergänzender Codepunkt wie 😀 (U+1F600) benötigt ein Surrogatpaar: zwei Codeeinheiten und 4 Bytes in UTF-16BE. In UTF-8 benötigt er ebenfalls 4 Bytes. String.length() zählt UTF-16-Codeeinheiten, bytes.length dagegen Bytes.
Die Überladung getBytes(String) nimmt einen Kodierungsnamen entgegen und löst bei einer nicht unterstützten Kodierung die geprüfte Ausnahme UnsupportedEncodingException aus. Kann Text nicht kodiert werden, ist das Verhalten von getBytes(String) und getBytes() nicht spezifiziert. getBytes(Charset) ersetzt ungültige oder nicht abbildbare Eingabesequenzen durch die Standard-Ersatzbytes der Kodierung. Um Fehler zu melden statt Eingaben zu ersetzen, verwende einen CharsetEncoder mit CodingErrorAction.REPORT für beide Fehlerarten.
Beispiele
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.util.HexFormat;
public class EncodingDemo {
public static void main(String[] args) {
String euro = "Euro \u20AC";
String emoji = "\uD83D\uDE00";
show(euro, StandardCharsets.UTF_8);
show(euro, StandardCharsets.UTF_16BE);
show(emoji, StandardCharsets.UTF_8);
show(emoji, StandardCharsets.UTF_16BE);
}
private static void show(String text, Charset charset) {
byte[] bytes = text.getBytes(charset);
String hex = HexFormat.ofDelimiter(" ").formatHex(bytes);
System.out.println(charset.name() + " " + bytes.length + ": " + hex);
}
}Ergebnis
UTF-8 8: 45 75 72 6f 20 e2 82 ac UTF-16BE 12: 00 45 00 75 00 72 00 6f 00 20 20 ac UTF-8 4: f0 9f 98 80 UTF-16BE 4: d8 3d de 00
Die ersten beiden Zeilen gehören zu `Euro €` einschließlich Leerzeichen, die letzten beiden zu `😀`. Das Programm gibt die Arraylänge und die Bytes hexadezimal aus, nicht die Eingabezeichen.
Zugehörige Lektionen
- Java · Lektion 50 · Fortgeschritten · Version: 2