Как починить юникоднутый JSON в питоне?

Question

[Александр Мамаев]

Если говорить просто то мне необходимо получить информацию, К сожалению я не знаю двигаюсь ли я в правильную сторону. Поэтому вместо того что-бы задавать вопросы как перекодировать это страницу если decode("utf-8) не работают. Лучше я спрошу прямо, как получить данные которые можно парсить с этой страницы.
Интересует решение на питоне, вот что смог сделать я. Заранее спасибо.

# -*- coding: utf-8 -*- ?
import requests
import json

def GetJSON(word):
	url = "https://ru.wiktionary.org//w/api.php?action=query&titles=%s&prop=revisions&rvprop=content&format=json"
	url = url%word
	answ = requests.get(url).text
	data = json.load(answ)
	return data
print(GetJSON("кот"))

PS гиперссылка не работает-почему то, просто скопируйте это

https://ru.wiktionary.org/w/api.php?action=query&titles=%D0%BA%D0%BE%D1%82&prop=revisions&rvprop=content&format=json

Решено!
Решение:

# coding: utf-8
import requests
def WikiSearch(word):
	req = requests.get('https://ru.wiktionary.org/w/api.php?action=query&titles=%s&prop=revisions&rvprop=content&format=json' % word)
	req = req.json()["query"]["pages"]
	
	for key in req: 
		if key == "-1": return None #404 page not found
		req = str(req[key]["revisions"])
	a = req.find("слогам")+6
	req = req[a:a+req[a:].find("}")]
	req = req.replace("\u0301","'")
	req = req.replace("|","")
	return req
print(WikiSearch(input()))

Программа выводит слово с ударением.

Comments

[#алгоптимизируй #отботизируй]

сохраните выдачу результа.

[Александр Мамаев]

С Sharp: Кажется,я вас не понял.

[#алгоптимизируй #отботизируй]

А что в результате получается? на выходе в контент, кстати параметры в строке желательно кодировать
requests.get(url).encoding тут что?
У меня на другом языке все ок из коробки...

[Александр Мамаев]

С Sharp: тут байтовая строка. Поменял на .text стало все норм, только декодер не может распознать экзотический символ \u04e7 - буква О с двумя точками

[#алгоптимизируй #отботизируй]

virtual_universe: проблема только в выводе в консоль? у меня - да)3.4 питон В кодировке 866 проблемка

Answer 1

[GavriKos]

К сожалению примером именно с урлом нет, но есть код загрузки джсона с файла, кодировка UTF-8, и содержимое файла на русском. Вот:

def LoadJson(filname):
    if os.path.isfile(filname) is False:
        return None
    data_file = open(filname, "r")
    str = data_file.read()
    data_file.close()
    data = json.loads(str)
    str = json.dumps(data, ensure_ascii=False, indent=4)
    return json.loads(str)

Думаю последние три строки - это то на что вам нужно обратить внимание. После вот такого шаманства - все работало. Возможно можно как то проще, не разбирал особо.

Comments

[Александр Мамаев]

я видел подобное, но проблема в том что у меня байтовая строке вида "\uxx\uxx"

[Александр Мамаев]

Обновил описание. Гиперссылка не работает. Просто скопируйте. Думаю станет понятно в чем проблема. https://ru.wiktionary.org/w/api.php?action=query&t...

[Александр Мамаев]

Опять гипер ссыка... Вобщем в посте закрепил в виде кода.

https://ru.wiktionary.org/w/api.php?action=query&titles=%D0%BA%D0%BE%D1%82&prop=revisions&rvprop=content&format=json

[GavriKos]

virtual_universe насколько я помню, это проблема именно вывода словаря в консоль. Например, если вы попытаетесь засейвить это дело в файл - то там все будет в нормальной кодировке. Или если попытаетесь вывести в консоль конкретный элемент json, а не весь - то выведется нормально. pastebin.com/exRJLWiq - вот тут код, который и в файл сдампит в правильной кодировке, и title в консоль на русском выведет.

[Александр Мамаев]

GavriKos: удалось починить первую проблему, она была как раз в чтении. Вместо .content надо писать .text что-бы читалась юникод строка а не байтовая. Теперь как-раз проблема вывода он не может сконвертировать экзотический символ)

[GavriKos]

virtual_universe вы вообще открывали код который я дал? Все прекрасно выводится.

[Александр Мамаев]

GavriKos: открывал, но к сожалению возможности запустить его нет. Завтра проверю. Спасибо.

[sim3x]

однако
os.path.isfile(filname) is False
return None

[GavriKos]

sim3x этот код выдран из левого проекта :-) Просто был пример возни с джсоном и кодировками. По ссылке в комментах - слегка скорректированный пример автора, в котором все корректно выводится. Требующий доработки, конечно.

[sim3x]

GavriKos: соболезную

[GavriKos]

sim3x а можете чуть более развернуто прокомментировать? Как вы бы реализовали?

[sim3x]

GavriKos:

if not os.path.isfile(file_path): return

[GavriKos]

sim3x ОК, согласен, спасибо за замечание.

[sim3x]

GavriKos: is практически всегда плохая идея
а return возвращает ноне по-умолчанию

Answer 2

[sim3x]

from json import loads
import requests

w = 'кот'
d = requests.get('https://ru.wiktionary.org/w/api.php?action=query&titles=%s&prop=revisions&rvprop=content&format=json' % w)
print(loads(d.text))

Comments

[Александр Мамаев]

Агась, тоже заметил. Но ошибка была не в этом)

[Александр Мамаев]

У меня так - же, только строчек больше)
на стадии загрузки в json выдает ошибку, из-за невозможности конвертировать символ \u04e7

[sim3x]

virtual_universe: у тебя не тоже самое
Внимательнее

[Александр Мамаев]

sim3x: вы на счет .text? Это я уже успел найти в одной из тем тостера. Теперь проблема конвертации экзотического символа - О с двумя точками.

[sim3x]

virtual_universe: пример?

[Александр Мамаев]

sim3x: вот этот символ \u04e7

[sim3x]

virtual_universe:

In [7]: loads('{"q":"\u04e7"}')
Out[7]: {'q': 'ӧ'}

[Александр Мамаев]

sim3x: Можете пожалуйста пояснить?

[sim3x]

virtual_universe: что именно?

[Александр Мамаев]

sim3x: Вобщем... проблема решена. Сейчас выложу решение.

Answer 3

[Dimonchik]

stackoverflow.com/questions/4004431/text-with-unic...

Answer 4

[Valdemar Smörman]

Я справился таким образом:

Починка юникоднутого JSON в питоне

import json
import requests

ace_data = requests.get('https://api.aceхххх.хх/хххххххххххххххх_api_key').content.decode('unicode-escape', 'ignore')
ace_json = json.dumps(ace_data)
ace_json_load = json.loads(ace_json)
print(ace_json_load)

Т.е. к:
requests.get('url')
добавляем:
.content.decode('unicode-escape', 'ignore')
и получаем великолепный вывод кирилицы, как и положено!

А если убрать из:

requests.get

ace_data = requests.get('https://api.aceхххх.хх/хххххххххххххххх_api_key').content.decode('unicode-escape', 'ignore')

.content.decode('unicode-escape', 'ignore')
то естесно будет вывод кирилицы в полном г..., типа:
\u04e7
хотя и utf-8