CKTIS / Java
Kodiranje nizova u Javi: UTF-8 i UTF-16BE
Pretvori tekst u bajtove metodom `String.getBytes(Charset)`. Saznaj zašto `Euro €` zauzima 8 bajtova u UTF-8 i 12 u UTF-16BE te zašto UTF-16BE ne koristi uvijek dva bajta po kodnoj točki.
Verzija: Java SE 21
Sintaksa
import java.nio.charset.StandardCharsets;
byte[] utf8 = text.getBytes(StandardCharsets.UTF_8);
byte[] utf16be = text.getBytes(StandardCharsets.UTF_16BE);StandardCharsets.UTF_8 i StandardCharsets.UTF_16BE konstante su tipa Charset iz paketa java.nio.charset. Obje su dostupne u svakoj implementaciji Java SE 21. String.getBytes(Charset) kodira tekst u novo polje byte[]. Za datoteku ili protokol izričito navedi traženo kodiranje. getBytes() bez argumenta koristi zadano kodiranje JVM-a, koje je u Java SE 21 UTF-8, osim ako je promijenjeno na način specifičan za implementaciju.
UTF-8 koristi od 1 do 4 bajta po skalarnoj vrijednosti Unicodea, odnosno po kodnoj točki izvan raspona U+D800–U+DFFF. UTF-16BE zapisuje svaku 16-bitnu kodnu jedinicu u dva bajta, počevši od značajnijeg bajta. Ne dodaje oznaku redoslijeda bajtova (BOM). Nasuprot tome, StandardCharsets.UTF_16 pri kodiranju zapisuje BOM i koristi redoslijed big-endian.
Euro € sadrži pet ASCII znakova, uključujući razmak, i znak €. To je 5 × 1 + 3 = 8 bajtova u UTF-8 i 6 × 2 = 12 u UTF-16BE. Dopunska kodna točka poput 😀 (U+1F600) zahtijeva zamjenski par: dvije kodne jedinice i 4 bajta u UTF-16BE. U UTF-8 također zauzima 4 bajta. String.length() broji kodne jedinice UTF-16, a bytes.length broji bajtove.
Preopterećena metoda getBytes(String) prima naziv kodiranja i baca provjeravanu iznimku UnsupportedEncodingException ako kodiranje nije podržano. Ako se tekst ne može kodirati, ponašanje metoda getBytes(String) i getBytes() nije specificirano. getBytes(Charset) zamjenjuje zadanim zamjenskim bajtovima kodiranja neispravne ulazne nizove i one koji se ne mogu preslikati u ciljno kodiranje. Za prijavu pogrešaka umjesto zamjene ulaza upotrijebi CharsetEncoder s CodingErrorAction.REPORT za obje vrste pogrešaka.
Primjeri
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.util.HexFormat;
public class EncodingDemo {
public static void main(String[] args) {
String euro = "Euro \u20AC";
String emoji = "\uD83D\uDE00";
show(euro, StandardCharsets.UTF_8);
show(euro, StandardCharsets.UTF_16BE);
show(emoji, StandardCharsets.UTF_8);
show(emoji, StandardCharsets.UTF_16BE);
}
private static void show(String text, Charset charset) {
byte[] bytes = text.getBytes(charset);
String hex = HexFormat.ofDelimiter(" ").formatHex(bytes);
System.out.println(charset.name() + " " + bytes.length + ": " + hex);
}
}Rezultat
UTF-8 8: 45 75 72 6f 20 e2 82 ac UTF-16BE 12: 00 45 00 75 00 72 00 6f 00 20 20 ac UTF-8 4: f0 9f 98 80 UTF-16BE 4: d8 3d de 00
Prva dva retka odnose se na `Euro €`, uključujući razmak, a posljednja dva na `😀`. Program ispisuje duljinu polja i njegove bajtove u heksadekadskom zapisu, a ne ulazne znakove.
Povezane lekcije
- Java · Lekcija 50 · Napredno · Verzija: 2