CKTIS / Java
Кодиране на низове в Java: UTF-8 и UTF-16BE
Преобразувай текст в байтове с `String.getBytes(Charset)`. Виж защо `Euro €` заема 8 байта в UTF-8 и 12 в UTF-16BE и защо UTF-16BE не винаги използва по два байта за кодова точка.
Версия: Java SE 21
Синтаксис
import java.nio.charset.StandardCharsets;
byte[] utf8 = text.getBytes(StandardCharsets.UTF_8);
byte[] utf16be = text.getBytes(StandardCharsets.UTF_16BE);StandardCharsets.UTF_8 и StandardCharsets.UTF_16BE са константи от тип Charset в пакета java.nio.charset. И двете са налични във всяка реализация на Java SE 21. String.getBytes(Charset) кодира текста в нов масив byte[]. За файл или протокол посочи изрично изискваното кодиране. getBytes() без аргумент използва кодирането по подразбиране на JVM: UTF-8 в Java SE 21, освен ако не е променено по начин, специфичен за реализацията.
UTF-8 използва от 1 до 4 байта за скаларна стойност на Unicode, тоест за кодова точка извън диапазона U+D800–U+DFFF. UTF-16BE записва всяка 16-битова кодова единица с два байта, като старшият байт е първи. Не добавя маркер за реда на байтовете (BOM). За разлика от него StandardCharsets.UTF_16 при кодиране записва BOM и използва ред big-endian.
Euro € съдържа пет ASCII знака, включително интервала, и знака €. Това прави 5 × 1 + 3 = 8 байта в UTF-8 и 6 × 2 = 12 в UTF-16BE. Допълнителна кодова точка като 😀 (U+1F600) изисква сурогатна двойка: две кодови единици и 4 байта в UTF-16BE. Тя заема 4 байта и в UTF-8. String.length() брои кодовите единици на UTF-16, а bytes.length брои байтовете.
Претовареният метод getBytes(String) приема име на кодиране и хвърля проверяваното изключение UnsupportedEncodingException, ако кодирането не се поддържа. Ако текстът не може да се кодира, поведението на getBytes(String) и getBytes() не е определено. getBytes(Charset) заменя неправилно оформените или непредставимите входни последователности със заместващите байтове по подразбиране за кодирането. За да се съобщават грешките, вместо входът да се заменя, използвай CharsetEncoder с CodingErrorAction.REPORT и за двата вида грешки.
Примери
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.util.HexFormat;
public class EncodingDemo {
public static void main(String[] args) {
String euro = "Euro \u20AC";
String emoji = "\uD83D\uDE00";
show(euro, StandardCharsets.UTF_8);
show(euro, StandardCharsets.UTF_16BE);
show(emoji, StandardCharsets.UTF_8);
show(emoji, StandardCharsets.UTF_16BE);
}
private static void show(String text, Charset charset) {
byte[] bytes = text.getBytes(charset);
String hex = HexFormat.ofDelimiter(" ").formatHex(bytes);
System.out.println(charset.name() + " " + bytes.length + ": " + hex);
}
}Резултат
UTF-8 8: 45 75 72 6f 20 e2 82 ac UTF-16BE 12: 00 45 00 75 00 72 00 6f 00 20 20 ac UTF-8 4: f0 9f 98 80 UTF-16BE 4: d8 3d de 00
Първите два реда са за `Euro €`, включително интервала, а последните два — за `😀`. Програмата извежда дължината на масива и байтовете му в шестнадесетичен вид, а не входните знаци.
Свързани уроци
- Java · Урок 50 · Напреднало · Версия: 2