Как из строки получить словарь (из str в dict)?

Question

[Даниил Чернов]

Добрый день, ребята.

Есть у меня допустим строка:

sunofdog = "{'d': '19', 'mon': '09', 'month': 'Сентябрь',  'address': 'Г. Кемерово ул. Ноградская д. 16, кв. 1'}"

Соответственно я хочу получить, например:

dicktator = превращение_в_словарь(sunofdog)  #  Это например
print dicktator['month']
---
Сентябрь

Много всего пересмотрел.

Такой вариант не канает, так как в словаре есть 'address', а в нем есть запятые, соотвествено этот метод пытаеться порезать значение на ключи и значения:

dicktator = dict(e.split(': ') for e in sunofdog.split(', '))

Так же не помогает:

import json
json.dumps(sunofdog)

Жду помощи ребяты

Comments

[sim3x]

Так же не помогает:

конкретнее

[Даниил Чернов]

sim3x,
Ошибка:

dictionary update sequence element #0 has length 1; 2 is required

Answer 1

[Александр]

Можно привести к стандарту json или eval(обычный или безопасный из пакета ast)

>>> sunofdog = "{'d': '19', 'mon': '09', 'month': 'Сентябрь',  'address': 'Г. Кемерово ул. Ноградская д. 16, кв. 1'}"
>>> a = json.loads(sunofdog.replace("'",'"'))
>>> type(a)
"<class 'dict'>"
>>> b = eval(sunofdog)
>>> type(b)
"<class 'dict'>"
>>> a
{'d': '19', 'mon': '09', 'month': 'Сентябрь', 'address': 'Г. Кемерово ул. Ноградская д. 16, кв. 1'}
>>> a == b
True
>>> 
>>> import ast
>>> c = ast.literal_eval(sunofdog)
>>> a == c
True
>>>

Comments

[Влад Григорьев]

не стоит советовать eval новичкам

[Александр]

А почему не стоит? Пусть пишут кривой код и учатся на ошибках. А то все в программирование поперлись и всякую ерунду спрашивают, потому что лень почитать ошибки. Вот там json наверняка ругалась на кавычки.

[Влад Григорьев]

Александр, eval не относится к бест практикам и красивому коду.

[Даниил Чернов]

Хахаха, я и делал через eval, но я забыл что у меня переменная до этого еще одну обработку проходила.
Извините за лишний вопрос и спасибо за ответ)))

[javedimka]

Влад Григорьев, Ох уж этот страшный eval, ох уж как он много вреда приносит, ужас

[Tishka17]

Все указанные решения работают в некоторых частных случаях и могут сломаться в любой момент.

В общем случае, нет стандартного способа получить строку в указанном топикстартером виде и синтаксис он не указал, поэтому я предполагаю, что это результат какой-то разрушающей операции типа str от питоновского объекта. Если речь идёт действительно об str, то он вполне способен сгенерировать довольно разные строки, которые будут ломать любой из указанных способов.

Например, вариант с ремлейсом ломается если внутри уже есть кавычки. Вариант с эвалом не стоит советовать, так как на определенных данных он может привести к исполнению стороннего кода. Вариант с literal_eval сломается на сложных объектах (а так как мы не знаем, как автор получил свою строку, можно допустить, что там может быть что угодно)

[Tishka17]

Влад Григорьев, да при чем тут красота. Обычная дыра в приложении.

[Tishka17]

javedimka, не понимаю ваш сарказм. Можете развернуть?

[javedimka]

Tishka17, У меня в конфиге есть возможность задать питонье выражение/функцию которая потом выполняется exec`ом или eval`ом - если клиент захочет вызвать сегментейшен еррор или поломать приложение - то кто-будет виноват? "Дыра" в приложении или сам себе злобный Буратино (клиент)? Проблема не в eval, а в программистах которые его не там используют, если json парсится eval`ом в веб приложении и endpoint может дергать кто угодно - безусловно дыра. Если json парсится eval`ом во внутреннем скрипте препроцессинга миллионов записей для БД, что позволяет увеличить скорость обработки чуть ли не на 40% - это не зло и не дыра, это осознанное, и правильное решение.

[Tishka17]

javedimka,
Если у вас конфиг обрабатывается эвалом - это уже не конфиг, а скрипт. Соответственно, если ваша программа позволяет выполнять пользователю в ней произвольные скрипты, вы должны многое предусмотреть. Например, программа, работающая от рута скорее всего не должна исполнять скрипты заполненные обычным юзером, так как это будет повышение привилегий. Обычно конфиги программ же делают в любом текстовом формате как раз чтобы не дать простому юзеру своей ошибкой удалить все данные или сломать компьютер (да, евал может не просто вызвать сегфолт, а вызвать произвольную системнуюкоманду вполть до `rm -rf ~/*`)

Если json в базе эвалом парсится быстрее чем с помощью json - это довольно странно и, вероятно, вы делаете что-то не то. Мой простой тест выдал такие результаты на парсинге эталонного набора (меньше - лучше)

json - 1.034
ujson - 0.344
 eval - 16.797

Код теста:

import json
from timeit import timeit

import ujson

orig = {f"f{i}": list(range(i, i + 100)) for i in range(100)}
data = json.dumps(orig)
assert ujson.loads(data) == eval(data)

n=1000
print(" json", timeit('json.loads(data)', globals=globals(), number=n))
print("ujson", timeit('ujson.loads(data)', globals=globals(), number=n))
print(" eval", timeit('eval(data)', globals=globals(), number=n))

Я не отрицаю, что eval действительно где-то может оказаться полезен именно для парсинга данных, но это должны быть данные правильным образом подготовленные, полученные из доверенного источника и, конечно, надо быть уверенным что это действительно нужная и не имеющая лучших альтернатив оптимизация

[javedimka]

Tishka17,

Предусматривать, конечно, нужно, например, скрипт запускать не из под рута

Результаты тестов удивительные, ничего не скажу. Сейчас проверить не могу ошибся ли я в своих высказываниях про скорость, т.к. оригинальный скрипт не был закомичен и впоследствии был переписан на go

[Сергей Золотарёв]

Этот вариант по преобразованию строки в словарь мне не помог;-(
Перед вами код:

import ast
import json

nmq = input()
nm = nmq.split(" ")

n = int(nm[0])
m = int(nm[1])

feedqueres = []
feedform = {}
feed = {}


for i in range(n):
  feeddata = str(input())
  feedqueres.append(feeddata)

feedform.update({'offers':{}})

for i in range(len(feedqueres)):
	
    data = json.loads(feedqueres[i])
    feedform['offers'].update(ast.literal_eval(data['offers']))
    
feed.update({'offers':{}})

for i in range(m):

  readydata = feedform['offers'][i]
  feed['offers'].update(ast.literal_eval(readydata))
  
print(json.dumps(feed))

На который поругался компилятор:

Traceback (most recent call last):
  File "main.py", line 24, in <module>
    feedform['offers'].update(ast.literal_eval(data['offers']))
  File "/usr/lib/python3.8/ast.py", line 99, in literal_eval
    return _convert(node_or_string)
  File "/usr/lib/python3.8/ast.py", line 98, in _convert
    return _convert_signed_num(node)
  File "/usr/lib/python3.8/ast.py", line 75, in _convert_signed_num
    return _convert_num(node)
  File "/usr/lib/python3.8/ast.py", line 66, in _convert_num
    _raise_malformed_node(node)
  File "/usr/lib/python3.8/ast.py", line 63, in _raise_malformed_node
    raise ValueError(f'malformed node or string: {node!r}')
ValueError: malformed node or string: [{'offer_id': 'offer1', 'market_sku': 10846332, 'price': 1490}, {'offer_id': 'offer2', 'market_sku': 682644, 'price': 499}]

Компиилятор поругался после ввода этих исходных данных:

2 3
{"offers": [{"offer_id": "offer1", "market_sku": 10846332, "price": 1490}, {"offer_id": "offer2", "market_sku": 682644, "price": 499}]}
{"offers": [{"offer_id": "offer3", "market_sku": 832784, "price": 14000}, {"offer_id": "offer4", "market_sku": 3234, "price": 100}]}

И на их основе программа должна вывести вот этот результат:

{"offers":[{"market_sku":10846332,"offer_id":"offer1","price":1490},{"market_sku":682644,"offer_id":"offer2","price":499},{"market_sku":832784,"offer_id":"offer3","price":14000}]}

Я несколько таких вариантов пробовал;-( И как дальше поступить с этим?