Как сделать замену ключей в словаре без «dictionary changed size during iteration»?

Question

[Александр Лебедев]

Есть многоуровневый словарь, в котором нужно в определенных ключах (ключах второго уровня, и ключах словаря 'url_dict') поменять точку на нижнее подчеркивание (для импорта в MongoDB).

Я, чтобы не получать ошибки "dictionary changed size during iteration", создаю копию словаря (даже .copy добавил для пущей верности), чтобы пройтись по всем нужным ключам, а в основном словаре - удалить. Проблема в том, что даже если я работаю с копией копии и никак ее не изменяю (изменяю только первоисточник), Питон все равно считает, что я уменьшаю размер словаря.

Код:

ad_items_dict_copy = ad_items_dict.copy()

for item in ad_items_dict_copy:
    for in_key in ad_items_dict_copy[item]:
        
        for dict_key in ad_items_dict_copy[item][in_key]['url_dict']:
            new_dict_key = dict_key.replace('.','_')
            ad_items_dict[item][in_key]['url_dict'][new_dict_key] = ad_items_dict[item][in_key]['url_dict'][dict_key]
            del ad_items_dict[item][in_key]['url_dict'][dict_key]
            
        new_in_key = in_key.replace('.','_')
        ad_items_dict[item][new_in_key] = ad_items_dict[item][in_key]
        del ad_items_dict[item][in_key]

Сижу, глаз дергается. Буду благодарен за любой совет :)

Comments

[javedimka]

Любой совет: https://stackoverflow.com/questions/11700705/pytho...

[Александр Лебедев]

Ошибка вылазит, когда он заходит на вторую итерацию:

for dict_key in ad_items_dict_copy[item][in_key]['url_dict']:

То есть, он решил. что я из словаря 'url_dict' что-то удалил. Но я же ничего не удалял, я удалил из совсем другого словаря, который никак не должен влиять на свою двойную копию. Или я чего-то не понимаю?

[Александр Лебедев]

javedimka: Реализация полезная, и скорее всего так и сделаю, спасибо большое :) Но, все равно вообще непонятно, почему вылазит ошибка в моей реализации. Тем более, если я хочу заменить не все точки, а только определенного уровня, или только определенного словаря, то решение уже немного не то.

[Weridy]

Может вам нужен deepcopy

[javedimka]

Александр Лебедев: всегда можно убрать рекурсию для "только определённого уровня или определённого словаря", и если так будешь делать то там в отмеченном решением ответе код под python2

Answer 1

[Артём Клименко]

ad_items_dict_copy = ad_items_dict.copy()
это у вас сделает только поверхностную копию словарей!
вложенные словари из которых вы удаляете ключи при итерации в обоих случаях будут одинаковым.

если вам нужно прям скопировать можно воспользоваться deepcopy

а вообще можно воспользоваться подобным (py3):

ad_items_dict = {'1': {
    '1.1': {
        'url_dict': {
            '1.1': 123
        }
    }
}}


for kitem, vitem in ad_items_dict.items():
    for value in vitem.values():
        value['url_dict'] = {k.replace('.', '_'): v for k, v in value['url_dict'].items()}

    ad_items_dict[kitem] = {k.replace('.', '_'): v for k, v in vitem.items()}

# {'1': {'1_1': {'url_dict': {'1_1': 123}}}}

никаких копирований не требуется вообще, и код чище.

Comments

[Александр Лебедев]

Понял, спасибо большое, не знал :)

[Александр Лебедев]

А что, можнол вот так просто через replace менять ключи словаря? :)

[Александр Лебедев]

Я имею ввиду:

value['url_dict'] = {k.replace('.', '_'): v for k, v in value['url_dict'].items()}

Или технически считается, что мы меняем не ключи словаря, а замену как в string делаем?

[Артём Клименко]

Александр Лебедев: вся фишка в том, что мы не меняем словарь, мы создаём новый, но создаём его сразу с нужными нам ключами! исходные словари какими были такими остаются, вот только ссылки на старые версии словарей мы подменяем новыми.

[Александр Лебедев]

Артём Клименко: Понял, еще раз спасибо :)