CKTIS / Java
Codificar cadeias de texto Java em UTF-8 e UTF-16BE
Converte texto em bytes com `String.getBytes(Charset)`. Descobre por que razão `Euro €` ocupa 8 bytes em UTF-8 e 12 em UTF-16BE e por que razão UTF-16BE nem sempre usa dois bytes por ponto de código.
Versão: Java SE 21
Sintaxe
import java.nio.charset.StandardCharsets;
byte[] utf8 = text.getBytes(StandardCharsets.UTF_8);
byte[] utf16be = text.getBytes(StandardCharsets.UTF_16BE);StandardCharsets.UTF_8 e StandardCharsets.UTF_16BE são constantes do tipo Charset do pacote java.nio.charset. Ambas estão disponíveis em todas as implementações de Java SE 21. String.getBytes(Charset) codifica o texto num novo array byte[]. Ao escrever para um ficheiro ou protocolo, indica explicitamente a codificação exigida. Sem argumentos, getBytes() usa a codificação predefinida da JVM: UTF-8 em Java SE 21, salvo alteração específica da implementação.
UTF-8 usa entre 1 e 4 bytes por valor escalar Unicode, ou seja, por ponto de código fora do intervalo dos substitutos U+D800–U+DFFF. UTF-16BE escreve cada unidade de código de 16 bits em dois bytes, começando pelo byte mais significativo. Não acrescenta uma marca de ordem de bytes (BOM). Em contraste, StandardCharsets.UTF_16 escreve uma BOM e usa a ordem big-endian ao codificar.
Euro € contém cinco caracteres ASCII, incluindo o espaço, mais €. São 5 × 1 + 3 = 8 bytes em UTF-8 e 6 × 2 = 12 em UTF-16BE. Um ponto de código suplementar como 😀 (U+1F600) requer um par de substitutos (surrogate pair): duas unidades de código e 4 bytes em UTF-16BE. Também ocupa 4 bytes em UTF-8. String.length() conta as unidades de código UTF-16, ao passo que bytes.length conta os bytes.
A sobrecarga getBytes(String) recebe um nome de codificação e lança a exceção verificada UnsupportedEncodingException se essa codificação não for suportada. Quando o texto não pode ser codificado, o comportamento de getBytes(String) e de getBytes() não está especificado. getBytes(Charset) substitui sequências malformadas ou não representáveis pelos bytes de substituição predefinidos da codificação. Para sinalizar erros em vez de substituir a entrada, usa um CharsetEncoder com CodingErrorAction.REPORT para ambos os tipos de erro.
Exemplos
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.util.HexFormat;
public class EncodingDemo {
public static void main(String[] args) {
String euro = "Euro \u20AC";
String emoji = "\uD83D\uDE00";
show(euro, StandardCharsets.UTF_8);
show(euro, StandardCharsets.UTF_16BE);
show(emoji, StandardCharsets.UTF_8);
show(emoji, StandardCharsets.UTF_16BE);
}
private static void show(String text, Charset charset) {
byte[] bytes = text.getBytes(charset);
String hex = HexFormat.ofDelimiter(" ").formatHex(bytes);
System.out.println(charset.name() + " " + bytes.length + ": " + hex);
}
}Resultado
UTF-8 8: 45 75 72 6f 20 e2 82 ac UTF-16BE 12: 00 45 00 75 00 72 00 6f 00 20 20 ac UTF-8 4: f0 9f 98 80 UTF-16BE 4: d8 3d de 00
As primeiras duas linhas correspondem a `Euro €`, incluindo o espaço, e as últimas duas a `😀`. O programa apresenta o comprimento do array e os seus bytes em hexadecimal, não os caracteres de entrada.
Lições relacionadas
- Java · Lição 50 · Avançado · Versão: 2