CKTIS / Java
Kodowanie tekstu w Javie: UTF-8 i UTF-16BE
Zakoduj tekst do tablicy bajtów za pomocą `String.getBytes(Charset)`. Sprawdź, skąd bierze się różnica 8 i 12 bajtów dla `Euro €` oraz dlaczego UTF-16BE nie zawsze zużywa dwóch bajtów na punkt kodowy.
Wersja: Java SE 21
Składnia
import java.nio.charset.StandardCharsets;
byte[] utf8 = text.getBytes(StandardCharsets.UTF_8);
byte[] utf16be = text.getBytes(StandardCharsets.UTF_16BE);StandardCharsets.UTF_8 i StandardCharsets.UTF_16BE to stałe typu Charset z pakietu java.nio.charset, dostępne w każdej implementacji Java SE 21. String.getBytes(Charset) koduje tekst do nowej tablicy byte[]. Na granicy z plikiem lub protokołem podaj wymagane kodowanie wprost, zamiast polegać na getBytes(): ta metoda używa domyślnego kodowania JVM, którym w Java SE 21 jest UTF-8, chyba że implementacja je zmieni.
UTF-8 zajmuje od 1 do 4 bajtów na wartość skalarną Unicode, czyli punkt kodowy spoza zakresu U+D800–U+DFFF. W UTF-16BE jednostka kodowa ma 2 bajty, a bardziej znaczący bajt jest zapisywany jako pierwszy. UTF-16BE nie dodaje znacznika kolejności bajtów (BOM); w Javie StandardCharsets.UTF_16 podczas kodowania dodaje BOM i używa kolejności big-endian.
W Euro € jest pięć znaków ASCII, wliczając spację, oraz znak €. To 5 × 1 + 3 = 8 bajtów w UTF-8 i 6 × 2 = 12 w UTF-16BE. Punkt kodowy spoza podstawowej płaszczyzny, taki jak 😀 (U+1F600), wymaga pary surogatów: dwóch jednostek kodowych i 4 bajtów w UTF-16BE. W UTF-8 też zajmuje 4 bajty. String.length() liczy jednostki kodowe UTF-16, a bytes.length liczy bajty.
Przeciążenie getBytes(String) przyjmuje nazwę kodowania i zgłasza kontrolowany wyjątek UnsupportedEncodingException, jeśli kodowanie nie jest obsługiwane. Dla tekstu, którego nie da się zakodować, zachowanie getBytes(String) i getBytes() nie jest określone. getBytes(Charset) zastępuje niepoprawne lub niemapowalne sekwencje domyślnymi bajtami zastępczymi danego kodowania. Jeśli błędy mają być zgłaszane zamiast maskowane, użyj CharsetEncoder z CodingErrorAction.REPORT dla obu rodzajów błędów.
Przykłady
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.util.HexFormat;
public class EncodingDemo {
public static void main(String[] args) {
String euro = "Euro \u20AC";
String emoji = "\uD83D\uDE00";
show(euro, StandardCharsets.UTF_8);
show(euro, StandardCharsets.UTF_16BE);
show(emoji, StandardCharsets.UTF_8);
show(emoji, StandardCharsets.UTF_16BE);
}
private static void show(String text, Charset charset) {
byte[] bytes = text.getBytes(charset);
String hex = HexFormat.ofDelimiter(" ").formatHex(bytes);
System.out.println(charset.name() + " " + bytes.length + ": " + hex);
}
}Wynik
UTF-8 8: 45 75 72 6f 20 e2 82 ac UTF-16BE 12: 00 45 00 75 00 72 00 6f 00 20 20 ac UTF-8 4: f0 9f 98 80 UTF-16BE 4: d8 3d de 00
Pierwsze dwa wiersze dotyczą `Euro €` ze spacją, a ostatnie dwa — `😀`. Program pokazuje długość tablicy i jej bajty w zapisie szesnastkowym, nie wypisuje znaków wejściowych.
Powiązane lekcje
- Java · Lekcja 50 · Zaawansowany · Wersja: 2