Преобразование строки в кодировку UTF-8 в Java

Быстрый ответ

Для кодирования строки в формате UTF-8 в Java может быть использован следующий код:

byte[] utf8Bytes = "yourString".getBytes(StandardCharsets.UTF_8);

Описанный выше метод прост в использовании: он не требует обработки исключений, а StandardCharsets.UTF_8 гарантирует универсальность и совместимость кодирования.

Для преобразования массива байт обратно в строку в формате UTF-8 следует выполнить подобную процедуру:

String encodedString = new String(utf8Bytes, StandardCharsets.UTF_8);

Следует помнить, что стандартная кодировка для объектов String в Java — это UTF-16, поэтому при работе с специфическими символами или текстами на разных языках необходимо осмысленно производить кодирование, чтобы избежать потери данных.

Визуализация

Кодирование строки в формат UTF-8 можно вообразить как обучение компьютера международному языку. Вот наглядный пример:

Исходная строка:  'Hello, 🌎!'

Предположим, что UTF-8 — это переводчик, позволяющий компьютеру понимать сообщения на различных языках:

'Hello, 🌎!' -> [72, 101, 108, 108, 111, 44, 32, 240, 159, 140, 142]

Каждый байт можно представить как вагон поезда, едущего по отрезкам дороги данных:

🚂: ['H', 'e', 'l', 'l', 'o', ',', ' ', '🌎'] -> [72, 101, 108, 108, 111, 44, 32, 📦📦📦📦]

Тут каждый элемент 📦 — это вагон, символизирующий многобайтовый символ в формате UTF-8. Итак, у нас есть пассажиры (символы), отправляющиеся в путешествие по широкам дорогам данных. Каждый из них обладает своим уникальным идентификатором — байтом, закодированным в UTF-8.

Обработка специальных символов

UTF-8 и многоязычные особенности

UTF-8 дает возможность точного управления символами из разных языковых палитр. В этом же его ценность: каждый байт имеет значение.

// Возможно, дело не в деньгах, а в байтах....
byte[] euroSignBytes = "€".getBytes(StandardCharsets.UTF_8);  // [0xE2, 0x82, 0xAC]

Подробнее об этом расскажет наш спикер на видео

Применение ByteBuffer

Для выполнения более сложных задач по обработке строк или ввода-вывода данных ByteBuffer предоставляет надежное решение:

// Кодирование строки и возвращение буфера с байтами — подобно доставке пиццы, только в этом случае дело в байтах...
ByteBuffer buffer = StandardCharsets.UTF_8.encode("yourString");

Провека совместимости кодировок

Прежде чем использовать методы рефлексии на объектах String, стоит убедиться в совместимости наборов символов:

// Давайте проверим, сможет ли ваша строка получить VIP-карту для входа в клуб ISO-8859-1
boolean isInCharsetRange = Charset.forName("ISO-8859-1").newEncoder().canEncode("yourString");

Стратегии кодирования в формате UTF-8

Проверка кодировки в формате UTF-8

Простым способом проверки правильности кодирования строки в формате UTF-8 является сравнение массивов байт:

boolean isUtf8Encoded = Arrays.equals(utf8Bytes, "yourString".getBytes(StandardCharsets.UTF_8));

Правильное применение метода getBytes()

При вызове String.getBytes() всегда следует указывать набор символов:

byte[] defaultCharsetBytes = "yourString".getBytes(); // Подход не самый надежный...

Предпочтительнее всего явно указывать, какую кодировку использовать:

byte[] correctUtf8Bytes = "yourString".getBytes(StandardCharsets.UTF_8); // Вот так будет правильно!

Глубокий анализ посредством рефлексии

С помощью рефлексии можно изучить внутреннюю кодировку объекта String, но этот метод сложен и требует осторожного применения.

Полезные материалы

1. Charset (Java Platform SE 7) — официальная документация Java, посвященная наборам символов.
2. StandardCharsets (Java Platform SE 8) — список стандартных наборов символов в Java 8.
3. Parsing a URI String into Name-Value Collection on Stack Overflow — обсуждение вопросов парсинга URI и кодирования строк запросов.
4. Java – String getBytes() Method — руководство по трансформации строк в массивы байт в Java.
5. HTML UTF-8 Reference — руководство по использованию кодировки UTF-8 в контексте HTML.
6. Lesson: Working with Text (The Java™ Tutorials > Internationalization) — инструкция от Oracle по работе с текстом и интернационализации в Java.