Baza wiedzyCentrum egzaminacyjne
PLPolski
Wybierz język13

CKTIS / Java

Kodowanie tekstu w Javie: UTF-8 i UTF-16BE

Zakoduj tekst do tablicy bajtów za pomocą `String.getBytes(Charset)`. Sprawdź, skąd bierze się różnica 8 i 12 bajtów dla `Euro €` oraz dlaczego UTF-16BE nie zawsze zużywa dwóch bajtów na punkt kodowy.

Wersja: Java SE 21

Składnia

import java.nio.charset.StandardCharsets;

byte[] utf8 = text.getBytes(StandardCharsets.UTF_8);
byte[] utf16be = text.getBytes(StandardCharsets.UTF_16BE);

StandardCharsets.UTF_8 i StandardCharsets.UTF_16BE to stałe typu Charset z pakietu java.nio.charset, dostępne w każdej implementacji Java SE 21. String.getBytes(Charset) koduje tekst do nowej tablicy byte[]. Na granicy z plikiem lub protokołem podaj wymagane kodowanie wprost, zamiast polegać na getBytes(): ta metoda używa domyślnego kodowania JVM, którym w Java SE 21 jest UTF-8, chyba że implementacja je zmieni.

UTF-8 zajmuje od 1 do 4 bajtów na wartość skalarną Unicode, czyli punkt kodowy spoza zakresu U+D800–U+DFFF. W UTF-16BE jednostka kodowa ma 2 bajty, a bardziej znaczący bajt jest zapisywany jako pierwszy. UTF-16BE nie dodaje znacznika kolejności bajtów (BOM); w Javie StandardCharsets.UTF_16 podczas kodowania dodaje BOM i używa kolejności big-endian.

W Euro € jest pięć znaków ASCII, wliczając spację, oraz znak €. To 5 × 1 + 3 = 8 bajtów w UTF-8 i 6 × 2 = 12 w UTF-16BE. Punkt kodowy spoza podstawowej płaszczyzny, taki jak 😀 (U+1F600), wymaga pary surogatów: dwóch jednostek kodowych i 4 bajtów w UTF-16BE. W UTF-8 też zajmuje 4 bajty. String.length() liczy jednostki kodowe UTF-16, a bytes.length liczy bajty.

Przeciążenie getBytes(String) przyjmuje nazwę kodowania i zgłasza kontrolowany wyjątek UnsupportedEncodingException, jeśli kodowanie nie jest obsługiwane. Dla tekstu, którego nie da się zakodować, zachowanie getBytes(String) i getBytes() nie jest określone. getBytes(Charset) zastępuje niepoprawne lub niemapowalne sekwencje domyślnymi bajtami zastępczymi danego kodowania. Jeśli błędy mają być zgłaszane zamiast maskowane, użyj CharsetEncoder z CodingErrorAction.REPORT dla obu rodzajów błędów.

Przykłady

import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.util.HexFormat;

public class EncodingDemo {
    public static void main(String[] args) {
        String euro = "Euro \u20AC";
        String emoji = "\uD83D\uDE00";

        show(euro, StandardCharsets.UTF_8);
        show(euro, StandardCharsets.UTF_16BE);
        show(emoji, StandardCharsets.UTF_8);
        show(emoji, StandardCharsets.UTF_16BE);
    }

    private static void show(String text, Charset charset) {
        byte[] bytes = text.getBytes(charset);
        String hex = HexFormat.ofDelimiter(" ").formatHex(bytes);
        System.out.println(charset.name() + " " + bytes.length + ": " + hex);
    }
}

Wynik

UTF-8 8: 45 75 72 6f 20 e2 82 ac
UTF-16BE 12: 00 45 00 75 00 72 00 6f 00 20 20 ac
UTF-8 4: f0 9f 98 80
UTF-16BE 4: d8 3d de 00

Pierwsze dwa wiersze dotyczą `Euro €` ze spacją, a ostatnie dwa — `😀`. Program pokazuje długość tablicy i jej bajty w zapisie szesnastkowym, nie wypisuje znaków wejściowych.

Powiązane lekcje

  • Java · Lekcja 50 · Zaawansowany · Wersja: 2

Źródła