CKTIS / Java
Java-strings coderen als UTF-8 en UTF-16BE
Zet tekst om in bytes met `String.getBytes(Charset)`. Ontdek waarom `Euro €` 8 bytes kost in UTF-8 en 12 in UTF-16BE, en waarom UTF-16BE niet altijd twee bytes per codepunt gebruikt.
Versie: Java SE 21
Syntax
import java.nio.charset.StandardCharsets;
byte[] utf8 = text.getBytes(StandardCharsets.UTF_8);
byte[] utf16be = text.getBytes(StandardCharsets.UTF_16BE);StandardCharsets.UTF_8 en StandardCharsets.UTF_16BE zijn constanten van het type Charset in het pakket java.nio.charset. Beide zijn beschikbaar in elke implementatie van Java SE 21. String.getBytes(Charset) codeert tekst naar een nieuwe byte[]. Geef voor een bestand of protocol de vereiste codering expliciet op. getBytes() zonder argument gebruikt de standaardcodering van de JVM: UTF-8 in Java SE 21, tenzij de implementatie die op een eigen manier wijzigt.
UTF-8 gebruikt 1 tot 4 bytes per scalaire Unicode-waarde, dus per codepunt buiten het surrogaatbereik U+D800–U+DFFF. UTF-16BE schrijft elke 16-bits code-eenheid als twee bytes, met de meest significante byte eerst. Het voegt geen bytevolgordemarkering (BOM) toe. StandardCharsets.UTF_16 schrijft bij het coderen daarentegen wel een BOM en gebruikt de big-endian bytevolgorde.
Euro € bevat vijf ASCII-tekens, inclusief de spatie, plus €. Dat geeft 5 × 1 + 3 = 8 bytes in UTF-8 en 6 × 2 = 12 in UTF-16BE. Een aanvullend codepunt zoals 😀 (U+1F600) heeft een surrogaatpaar nodig: twee code-eenheden en 4 bytes in UTF-16BE. In UTF-8 gebruikt het ook 4 bytes. String.length() telt UTF-16-code-eenheden, terwijl bytes.length bytes telt.
De overload getBytes(String) neemt een coderingsnaam aan en werpt de gecontroleerde uitzondering UnsupportedEncodingException als de codering niet wordt ondersteund. Als de tekst niet kan worden gecodeerd, is het gedrag van getBytes(String) en getBytes() niet gespecificeerd. getBytes(Charset) vervangt ongeldige of niet-representeerbare invoerreeksen door de standaardvervangingsbytes van de codering. Gebruik een CharsetEncoder met CodingErrorAction.REPORT voor beide foutsoorten als je fouten wilt melden in plaats van invoer te vervangen.
Voorbeelden
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.util.HexFormat;
public class EncodingDemo {
public static void main(String[] args) {
String euro = "Euro \u20AC";
String emoji = "\uD83D\uDE00";
show(euro, StandardCharsets.UTF_8);
show(euro, StandardCharsets.UTF_16BE);
show(emoji, StandardCharsets.UTF_8);
show(emoji, StandardCharsets.UTF_16BE);
}
private static void show(String text, Charset charset) {
byte[] bytes = text.getBytes(charset);
String hex = HexFormat.ofDelimiter(" ").formatHex(bytes);
System.out.println(charset.name() + " " + bytes.length + ": " + hex);
}
}Resultaat
UTF-8 8: 45 75 72 6f 20 e2 82 ac UTF-16BE 12: 00 45 00 75 00 72 00 6f 00 20 20 ac UTF-8 4: f0 9f 98 80 UTF-16BE 4: d8 3d de 00
De eerste twee regels horen bij `Euro €`, inclusief de spatie, en de laatste twee bij `😀`. Het programma toont de lengte van de array en de bytes in hexadecimale notatie, niet de invoertekens.
Gerelateerde lessen
- Java · Les 50 · Gevorderd · Versie: 2