Как автоматом декодировать json с текстом в разных кодировках?

Question

[domanskiy]

Получаю по API из woocommerce данные в формате json.
Проблема в том, что половина данных в кодировке windows-1251, другая часть в utf-8.
Как всё это добро привести к utf-8?

Код запроса

from woocommerce import API
import json
wcapi = API(
    url=u"https://какой-то сайт.ru",
    consumer_key="ck_...",
    consumer_secret="cs_...",
    wp_api=True,
    version="wc/v2",
    query_string_auth=True  # Force Basic Authentication as query string true and using under HTTPS
)
    r: list[object] = wcapi.get("products", params={'per_page': 1, 'status': 'publish'}).json()

библиотека woocommerce под капотом использует requests.
Метод json использует стандартный json.loads()
Я также пробовал всё это через requests и json.loads, разницы никакой

Кусок того, что выводит:

content="summary_large_image" />\n<meta name="twitter:label1" content="Примерное время для чтения">\n\t<meta name="twitter:data1" content="1 минута">\n<script type="application/ld+json" class="yoast-schema-graph">{"@context":"https://schema.org","@graph":[{"@type":"Organization","@id":"https://streetclimate.ru/#organization","name":"\\u0421\\u0442\\u0440\\u0438\\u0442-\\u041a\\u043b\\u0438\\u043c\\u0430\\u0442","url":"https://какой-то сайт.ru/","sameAs":[],"logo":{"@type":"ImageObject","@id":"https://какой-то сайт.ru/#logo","inLanguage":"ru-RU","url":"https://какой-то сайт.ru/wp-content/uploads/2018/12/3_White_logo_on_color1_269x67.png","width":269,"height":67,"caption":"\\u0421\\u0442\\u0440\\u0438\\u0442-\\u041a\\u043b\\u0438\\u043c\\u0430\\u0442"},"image":{"@id":"https://какой-то сайт.ru/#logo"}},{"@type":"WebSite","@id":"https://какой-то сайт.ru/#website","url":"https://какой-то сайт.ru/","name":"\\u0421\\u0442\\u0440\\u0438\\u0442-\\u041a\\u043b\\u0438\\u043c\\u0430\\u0442","description":"\\u041f\\u0440\\u043e\\u0434\\u0430\\u0436\\u0430, \\u0443\\u0441\\u0442\\u0430\\u043d\\u043e\\u0432\\u043a\\u0430 \\u0438 \\u043e\\u0431\\u0441\\u043b\\u0443\\u0436\\u0438\\u0432\\u0430\\u043d\\u0438\\u0435 \\u043a\\u043e\\u043d\\u0434\\u0438\\u0446\\u0438\\u043e\\u043d\\u0435\\u0440\\u043e\\u0432, \\u0441\\u043f\\u043b\\u0438\\u0442-\\u0441\\u0438\\u0441\\u0442\\u0435\\u043c \\u0438 \\u0442\\u0435\\u043f\\u043b\\u043e\\u0432\\u044b\\u0445 \\u0437\\u0430\\u0432\\u0435\\u0441 \\u0432 \\u0421\\u041f\\u0431 \\u0438 \\u041b\\u0435\\u043d\\u0438\\u043d\\u0433\\u0440\\u0430\\u0434\\u0441\\u043a\\u043e\\u0439 \\u043e\\u0431\\u043b\\u0430\\u0441\\u0442\\u0438.",

Значение ключа description - текст в кириллице но не utf8
Проверял онлайн декодерами, кодировка windows-1251
Но как видно, значение ключа content также кириллицей, но отображается нормально
Большинство значений в кириллице нормально отображается.

Т.е. часть текста в utf8, а другая - в windows-1251.

Comments

[shurshur]

Правильнее исправлять бардак на стороне API. Наверняка там кто-то наколхозил.

[domanskiy]

shurshur,
бэкенд на WP, бардак выдаёт модуль Yoast SEO
Есть подозрение, что имеются не стыковки в настройках кодировки БД.
Но я туда точно лезть не буду.

Мне нужно парсер написать с автозаливкой на woocommerce через API

[Дмитрий Беляев]

В JSON по стандарту не может быть ничего кроме utf-8

половина данных в кодировке windows-1251

не знаю про python, но ни один из известных мне декодировщиков "не поймет" такого

[shurshur]

domanskiy, по-хорошему надо в бэклог положить изучение и исправление этой проблемы, потому что обвешивать систему костылями очень плохо, оно потом ещё сто раз аукнется.

[javedimka]

shurshur, а что не так? Автору возвращается корректный json c заэскеймплеными юникод кодпоинтами. Кодировку cp1251 он сам придумал.

[shurshur]

javedimka, а, ну я так внимательно не смотрел. Но подобное - признак того, что json формируется не правильными функциями, а конкатенацией строк. Тоже не очень хорошо и может указывать на бардак в коде.

[javedimka]

shurshur, ну не знаю, по моему все ок, стандартом же можно так делать.

>>> import json
>>> d = {'hello': 'привет'}
>>> json.dumps(d, ensure_ascii=True)
'{"hello": "\\u043f\\u0440\\u0438\\u0432\\u0435\\u0442"}'

[domanskiy]

javedimka,
primer = {"name": "\\u0413\\u043b\\u0430\\u0432\\u043d\\u0430\\u044f "
"\\u0441\\u0442\\u0440\\u0430\\u043d\\u0438\\u0446\\u0430"}
print(json.loads(primer))

Ошибка
TypeError: the JSON object must be str, bytes or bytearray, not dict

[shurshur]

domanskiy, json.loads преобразует json (строку) в list/dict, в данном случае это уже dict, а не json.

[shurshur]

javedimka, проблема не в том, что там используются escaped unicode characters, а в том, что там мешанина из одних и других, что намекает на какой-то бардак в генерации этого json.

[domanskiy]

Кажется я понял. Где-то криво сам json на сервере формируется. Изза этого часть json-а, json.loads не декодирует.

[Ромзес Панагиотис]

domanskiy, нельзя просто копировать из

'{"hello": "\\u043f\\u0440\\u0438\\u0432\\u0435\\u0442"}'

все что внутри одинарных кавычек. Для вывода на экран есть дополнительное экранирование обратных слэшей!

Пробуй так:

s = json.dumps(d, ensure_ascii=True)
print(s)

То есть, JSON не содержит двойное экранирование юникода. А при выводе в IDLE в качестве строки добавляется дополнительное экранирование. Не нужно путаться!

[javedimka]

shurshur, сори, но я упорно не вижу никакой мешанины, вполне обычный json ¯\_(ツ)_/¯

Ладно, если вы видите, то можете разбираться. Я склоняюсь к тому, что это автор мудрит, и целенаправлено не показывает repr(r). Может у него там массив строк, где строка это Джейсон, который он не парсит...

Олсо, автор:

>>> import json
>>> d = '{"name": "\\u0413\\u043b\\u0430\\u0432\\u043d\\u0430\\u044f"}'
>>> json.loads(d)
{'name': 'Главная'}

[shurshur]

javedimka, да, посмотрел внимательнее, чистая кириллица там не в json, а в окружающем html.

[domanskiy]

shurshur, спасибо. Т.к. доступа к беку нет, буду из полученного json вырезать этот ключ.
мне в целом не понятно, почему API woocommerce отдпёт json с данными этого плагина.
Ну да ладно.

Answer 1

[Ромзес Панагиотис]

Нет никаких смешанных кодировок. У вас путаница в голове.
Из вашего же отрывка кода (судя по всему, скопировано с отладочного вывода):

>>> qq='content="summary_large_image" />\n<meta name="twitter:label1" content="Примерное время для чтения">\n\t<meta name="twitter:data1" content="1 минута">\n<script type="application/ld+json" class="yoast-schema-graph">{"@context":"https://schema.org","@graph":[{"@type":"Organization","@id":"https://streetclimate.ru/#organization","name":"\\u0421\\u0442\\u0440\\u0438\\u0442-\\u041a\\u043b\\u0438\\u043c\\u0430\\u0442","url":"https://какой-то сайт.ru/","sameAs":[],"logo":{"@type":"ImageObject","@id":"https://какой-то сайт.ru/#logo","inLanguage":"ru-RU","url":"https://какой-то сайт.ru/wp-content/uploads/2018/12/3_White_logo_on_color1_269x67.png","width":269,"height":67,"caption":"\\u0421\\u0442\\u0440\\u0438\\u0442-\\u041a\\u043b\\u0438\\u043c\\u0430\\u0442"},"image":{"@id":"https://какой-то сайт.ru/#logo"}},{"@type":"WebSite","@id":"https://какой-то сайт.ru/#website","url":"https://какой-то сайт.ru/","name":"\\u0421\\u0442\\u0440\\u0438\\u0442-\\u041a\\u043b\\u0438\\u043c\\u0430\\u0442","description":"\\u041f\\u0440\\u043e\\u0434\\u0430\\u0436\\u0430, \\u0443\\u0441\\u0442\\u0430\\u043d\\u043e\\u0432\\u043a\\u0430 \\u0438 \\u043e\\u0431\\u0441\\u043b\\u0443\\u0436\\u0438\\u0432\\u0430\\u043d\\u0438\\u0435 \\u043a\\u043e\\u043d\\u0434\\u0438\\u0446\\u0438\\u043e\\u043d\\u0435\\u0440\\u043e\\u0432, \\u0441\\u043f\\u043b\\u0438\\u0442-\\u0441\\u0438\\u0441\\u0442\\u0435\\u043c \\u0438 \\u0442\\u0435\\u043f\\u043b\\u043e\\u0432\\u044b\\u0445 \\u0437\\u0430\\u0432\\u0435\\u0441 \\u0432 \\u0421\\u041f\\u0431 \\u0438 \\u041b\\u0435\\u043d\\u0438\\u043d\\u0433\\u0440\\u0430\\u0434\\u0441\\u043a\\u043e\\u0439 \\u043e\\u0431\\u043b\\u0430\\u0441\\u0442\\u0438.",'
>>> print(qq)
content="summary_large_image" />
<meta name="twitter:label1" content="Примерное время для чтения">
	<meta name="twitter:data1" content="1 минута">
<script type="application/ld+json" class="yoast-schema-graph">{"@context":"https://schema.org","@graph":[{"@type":"Organization","@id":"https://streetclimate.ru/#organization","name":"\u0421\u0442\u0440\u0438\u0442-\u041a\u043b\u0438\u043c\u0430\u0442","url":"https://какой-то сайт.ru/","sameAs":[],"logo":{"@type":"ImageObject","@id":"https://какой-то сайт.ru/#logo","inLanguage":"ru-RU","url":"https://какой-то сайт.ru/wp-content/uploads/2018/12/3_White_logo_on_color1_269x67.png","width":269,"height":67,"caption":"\u0421\u0442\u0440\u0438\u0442-\u041a\u043b\u0438\u043c\u0430\u0442"},"image":{"@id":"https://какой-то сайт.ru/#logo"}},{"@type":"WebSite","@id":"https://какой-то сайт.ru/#website","url":"https://какой-то сайт.ru/","name":"\u0421\u0442\u0440\u0438\u0442-\u041a\u043b\u0438\u043c\u0430\u0442","description":"\u041f\u0440\u043e\u0434\u0430\u0436\u0430, \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0438 \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043d\u0434\u0438\u0446\u0438\u043e\u043d\u0435\u0440\u043e\u0432, \u0441\u043f\u043b\u0438\u0442-\u0441\u0438\u0441\u0442\u0435\u043c \u0438 \u0442\u0435\u043f\u043b\u043e\u0432\u044b\u0445 \u0437\u0430\u0432\u0435\u0441 \u0432 \u0421\u041f\u0431 \u0438 \u041b\u0435\u043d\u0438\u043d\u0433\u0440\u0430\u0434\u0441\u043a\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438.",
>>>

"\u0421\u0442\u0440\u0438\u0442-\u041a\u043b\u0438\u043c\u0430\u0442"

отлично раскодируется в JSON:

Стрит-Климат

Добавлено
нельзя просто копировать из

'{"hello": "\\u043f\\u0440\\u0438\\u0432\\u0435\\u0442"}'

все что внутри одинарных кавычек. Для вывода на экран есть дополнительное экранирование обратных слэшей!

А если попробовать так:

s = json.dumps(d, ensure_ascii=True)
print(s)

То есть, JSON не содержит двойное экранирование юникода. А при выводе в IDLE в качестве строки добавляется дополнительное экранирование. Не нужно путаться!

Вывод: если копировать с отладочного вывода, то предварительно выводить на отладку содержимое строки в кавычках.

Comments

[domanskiy]

Спасибо.
Действительно, есть непонимание.
Вот сам json
https://yadi.sk/d/AQ0oRoEbSgHCCA
Вся беда с данными в ключе "yoast_head"
Кажется в значение ключа впихнули непойми что.
Решил удалить данный ключ из json что бы не мешал.

[Ромзес Панагиотис]

domanskiy,
Это не JSON. Это код на Python, коим является результат функции json.loads. Удалять в ключе "yoast_head" совсем не обязательно.
Внутри него находится корректный код HTML из HTML тега head. Если нужно содержимое, нужно просто просвоить содержимое переменной и производить парсинг HTML.

IDLE:

>>> a=[{'id': 3279, 'name': 'Mit ...
>>> type(a)
<class 'list'>
>>> len(a)
1
>>> type(a[0])
<class 'dict'>
>>> a[0].keys()
dict_keys(['id', 'name', 'slug', 'permalink', 'date_created', 'date_created_gmt', 'date_modified', 'date_modified_gmt', 'type', 'status', 'featured', 'catalog_visibility', 'description', 'short_description', 'sku', 'price', 'regular_price', 'sale_price', 'date_on_sale_from', 'date_on_sale_from_gmt', 'date_on_sale_to', 'date_on_sale_to_gmt', 'price_html', 'on_sale', 'purchasable', 'total_sales', 'virtual', 'downloadable', 'downloads', 'download_limit', 'download_expiry', 'external_url', 'button_text', 'tax_status', 'tax_class', 'manage_stock', 'stock_quantity', 'in_stock', 'backorders', 'backorders_allowed', 'backordered', 'sold_individually', 'weight', 'dimensions', 'shipping_required', 'shipping_taxable', 'shipping_class', 'shipping_class_id', 'reviews_allowed', 'average_rating', 'rating_count', 'related_ids', 'upsell_ids', 'cross_sell_ids', 'parent_id', 'purchase_note', 'categories', 'tags', 'images', 'attributes', 'default_attributes', 'variations', 'grouped_products', 'menu_order', 'meta_data', 'yoast_head', '_links'])
>>> y = a[0]['yoast_head']
>>> type(y)
<class 'str'>
>>> print(y)
<!-- This site is optimized with the Yo...
...

Учите основы..

[domanskiy]

Ромзес Панагиотис, спасибо

Answer 2

[12rbah]

1) проверьте является ли текст utf-8 или нетпример
2) если нет перекодируйте 1251 в utf-8

Answer 3

[Valdemar Smörman]

А так?

Тест

import json, requests

URL = 'https://api.xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
def get_api_data(url, params=''):
    r = requests.get(url, params='okhttp/2.5.0')
    if r.status_code == 200:
        return r.text
    else:
        print('Ошибка загрузки данных!')
        exit(1)
        
api_data = get_api_data(URL)
api_json = json.loads(api_data)
print(api_json)

Answer 4

[domanskiy]

Код запроса

r: list[object] = wcapi.get("products", params={'per_page': 1, 'status': 'publish'}).json()

Если вывести, то value некоторых ключей, выглядит: "name":"\\u041c\\u0443\\u043b\\u044c\\u0442\\u0438\\u0437\\u043e\\u043d\\u0430\\u043b\\u044c\\u043d\\u044b\\u0435
Проверял, кодировка windows-1251
но только некоторых.
Большинство значений в кирилице нормально отображается.
Т.е. часть текста в utf8, а другая в windows-1251
Перебором будет очень затратно (

Comments

[javedimka]

>>> b'\\u041c\\u0443\\u043b\\u044c\\u0442\\u0438\\u0437\\u043e\\u043d\\u0430\\u043b\\u044c\\u043d\\u044b\\u0435'.decode('unicode-escape')
'Мультизональные'

Разобраться бы тебе в кодировках... а если не разбираешься, зачем вопросы такие задавать? Задавай как есть и спрашивай, а не дезинформируй, какой -тут cp1251?

олсо, json.loads() автоматически юникод должен преобразовывать в utf-8, если не указано иначе.

[domanskiy]

javedimka, странно. я через онлайд декодер проганял, он выдал windows-1251

json.loads пробовал. Проганял сырые данные, тот же результат.
Оно и не удивительно, т.к. библиотека woocommerce использует json.loads

r"""Returns the json-encoded content of a response, if any.
:param \*\*kwargs: Optional arguments that ``json.loads`` takes.

[javedimka]

domanskiy, т.е. ты так и не понял, что тебе нужно свой вопрос привести в порядок и написать входные данные и что хочется получить? Пример так называемых "utf8 данных" и "windows-1251 данных"

[domanskiy]

javedimka, поправил