Как преобразовать Unicode-объекты в строки в Python 2

Быстрый ответ

В Python 2 для получения строковых объектов при декодировании JSON используйте функцию json.loads() с параметром encoding='latin-1'.

import json

data = '{"name": "value"}'
strings = json.loads(data, encoding='latin-1')

Переменная strings будет содержать строковые объекты, которые не преобразованы в Unicode, что удобно при работе со строками JSON в Python 2. В Python 3.x все строки имеют формат Unicode, поэтому специфического преобразования не требуется. Если необходимо обрабатывать только ASCII-символы и важно использовать строки вместо объектов Unicode, то можно воспользоваться методами object_hook или object_pairs_hook в функции json.loads().

Специализированное декодирование JSON

Использование object_hook для непосредственного преобразования

При работе с большими JSON-файлами можно использовать object_hook, который конвертирует объекты в строки в процессе парсинга и избавляет от необходимости последующей обработки.

import json

def string_decoder(dct):
    return {key: str(value) for key, value in dct.items()}

data = '{"name": "value"}'
strings = json.loads(data, object_hook=string_decoder)

Использование ruamel.yaml для получения исключительно строк

Библиотека ruamel.yaml позволяет декодировать JSON таким образом, чтобы на выходе получить только строки. Библиотека совместима со стандартом YAML 1.2.

from ruamel.yaml import YAML

yaml = YAML(typ='safe')
data = '{"name": "value"}'
strings = yaml.load(data)

Byteify: возвращение к Python 2

Если вы работаете в Python 2.6 или более ранних версиях и столкнулись с проблемой Unicode-объектов, функция byteify поможет вам конвертировать их в байт-строки.

import json

def byteify(input):
    if isinstance(input, dict):
        return {byteify(key): byteify(value) for key, value in input.iteritems()}
    elif isinstance(input, list):
        return [byteify(element) for element in input]
    elif isinstance(input, unicode):
        return input.encode('utf-8')
    else:
        return input

data = u'{"name": "value"}'
strings = json.loads(data, object_hook=byteify)

Продвинутые техники: получение строк из Unicode в любой ситуации

Работа с глубоко вложенными JSON

При работе с глубоко вложенными JSON object_hook требует особого подхода. Ваше главное оружие здесь — это рекурсия и оптимизация производительности.

def byteify_deep(input):
    # Реализуйте здесь вашу рекурсивную функцию byteify
    # Учтите, что обработка глубоко вложенных структур требует особой аккуратности.
    # ...

data = u'{"name": {"first": "John", "last": "Doe"}}'
strings = json.loads(data, object_hook=byteify_deep)

Старый Python и новые приемы

Если вы столкнулись с ограничениями старых версий Python в отношении работы со словарями, примените проверенный временем подход — циклы внутри функции byteify.

def byteify(input):
    result = {}
    for key, value in input.iteritems():
        result[byteify(key)] = byteify(value)
    return result

Обновление библиотек, не совместимых с Unicode

Не все библиотеки корректно работают с Unicode. Важно своевременно их обновлять, чтобы не столкнуться с трудноустранимыми проблемами с кодировкой.

Визуализация

Представьте почтовый ящик, в котором письма написаны на разных языках:

JSON Почтовый Ящик (📬): [🇺🇳, 🇺🇳, 🇺🇳]

В Python они представлены в формате Unicode (🇺🇳) — универсальном формате для всех языков.

json.loads(my_json_string)

Но нам нужно принимать их в виде обычных строк (📝).

json.loads(my_json_string, encoding='utf-8')

Так, с помощью преобразования, мы меняем содержимое почтового ящика:

Конвертированные письма (✉️): [📝, 📝, 📝]

Теперь каждое письмо — это обычная строка, и нам не нужно беспокоиться о нюансах работы с Unicode.

Постобработка: умение конвертировать данные

Если в JSON присутствуют разнородные данные и требуется преобразовать определенные значения в байт-строки, воспользуйтесь функцией per-item-transformation после парсинга JSON.

strings = [str(item) if isinstance(item, unicode) else item for item in parsed_JSON_list]

Проверка целостности JSON: предотвращение ошибок

Всегда проводите проверку целостности данных в JSON-файлах. Поврежденные данные могут привести к неожиданным ошибкам в процессе конвертации.

Профессиональная помощь

Если вы столкнулись с проблемой, которую не можете решить самостоятельно, обратитесь за помощью на Stack Overflow. Там вы найдете массу полезных советов от других разработчиков.

Оценка контекста использования

Каковы требования к вашему приложению? Должно ли оно работать с Unicode, или стоит перейти к использованию строк? Тщательно обдумайте свой выбор, ведь от правильно выбранного подхода зависит успех проекта.

Полезные материалы

1. json – JSON энкодер и декодер – Документация Python 3.12.2 — Официальная документация по работе с JSON в Python.
2. Как управлять Unicode – Документация Python 3.12.2 — Практический гид по работе с Unicode в Python.
3. Работа со структурами данных JSON в Python – Real Python — Профессиональное руководство от RealPython, объясняющее, как использовать JSON и Unicode в Python.
4. Строки – Консервативное руководство по переходу на Python 3 — Эффективное руководство по миграции между строками и Unicode в Python 2 и строками в Python 3.
5. json.loads() в Python – GeeksforGeeks — Простое руководство по декодированию JSON-строк в кодировке UTF-8 с помощью json.loads().
6. JSON – Путеводитель автостопом по Python – Детальное руководство по работе с JSON в Python как для Python 2, так и для Python 3.