CKTIS / Java
Kódovanie reťazcov v Jave: UTF-8 a UTF-16BE
Preveď text na bajty pomocou `String.getBytes(Charset)`. Zisti, prečo `Euro €` zaberá 8 bajtov v UTF-8 a 12 v UTF-16BE a prečo UTF-16BE nepoužíva vždy dva bajty na kódový bod.
Verzia: Java SE 21
Syntax
import java.nio.charset.StandardCharsets;
byte[] utf8 = text.getBytes(StandardCharsets.UTF_8);
byte[] utf16be = text.getBytes(StandardCharsets.UTF_16BE);StandardCharsets.UTF_8 a StandardCharsets.UTF_16BE sú konštanty typu Charset z balíka java.nio.charset. Obe sú dostupné v každej implementácii Java SE 21. String.getBytes(Charset) zakóduje text do nového poľa byte[]. Pre súbor alebo protokol uveď požadované kódovanie výslovne. getBytes() bez argumentu používa predvolené kódovanie JVM, ktorým je v Java SE 21 UTF-8, pokiaľ sa nezmení spôsobom špecifickým pre implementáciu.
UTF-8 používa 1 až 4 bajty na skalárnu hodnotu Unicode, teda na kódový bod mimo rozsahu U+D800–U+DFFF. UTF-16BE zapisuje každú 16-bitovú kódovú jednotku ako dva bajty, pričom významnejší bajt ide prvý. Nepridáva značku poradia bajtov (BOM). Naopak, StandardCharsets.UTF_16 pri kódovaní zapisuje BOM a používa poradie big-endian.
Euro € obsahuje päť znakov ASCII vrátane medzery a znak €. To je 5 × 1 + 3 = 8 bajtov v UTF-8 a 6 × 2 = 12 v UTF-16BE. Doplnkový kódový bod ako 😀 (U+1F600) vyžaduje pár náhradných kódových jednotiek: dve jednotky a 4 bajty v UTF-16BE. V UTF-8 tiež zaberá 4 bajty. String.length() počíta kódové jednotky UTF-16, kým bytes.length počíta bajty.
Preťažená metóda getBytes(String) prijíma názov kódovania a vyvolá kontrolovanú výnimku UnsupportedEncodingException, ak kódovanie nie je podporované. Ak sa text nedá zakódovať, správanie getBytes(String) a getBytes() nie je špecifikované. getBytes(Charset) nahrádza neplatné alebo nereprezentovateľné vstupné sekvencie predvolenými náhradnými bajtmi daného kódovania. Ak chceš chyby hlásiť namiesto nahrádzania vstupu, použi CharsetEncoder s CodingErrorAction.REPORT pre oba druhy chýb.
Príklady
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.util.HexFormat;
public class EncodingDemo {
public static void main(String[] args) {
String euro = "Euro \u20AC";
String emoji = "\uD83D\uDE00";
show(euro, StandardCharsets.UTF_8);
show(euro, StandardCharsets.UTF_16BE);
show(emoji, StandardCharsets.UTF_8);
show(emoji, StandardCharsets.UTF_16BE);
}
private static void show(String text, Charset charset) {
byte[] bytes = text.getBytes(charset);
String hex = HexFormat.ofDelimiter(" ").formatHex(bytes);
System.out.println(charset.name() + " " + bytes.length + ": " + hex);
}
}Výsledok
UTF-8 8: 45 75 72 6f 20 e2 82 ac UTF-16BE 12: 00 45 00 75 00 72 00 6f 00 20 20 ac UTF-8 4: f0 9f 98 80 UTF-16BE 4: d8 3d de 00
Prvé dva riadky patria textu `Euro €` vrátane medzery, posledné dva znaku `😀`. Program vypisuje dĺžku poľa a jeho bajty v šestnástkovej sústave, nie vstupné znaky.
Súvisiace lekcie
- Java · Lekcia 50 · Pokročilá · Verzia: 2