JSON Ключи в словаре почему-то дублируются?

Question

[gooze]

Данная проблема была у меня несколько раз, каждый раз я находил решение, но потом опять сталкиваюсь с этим. В этот раз я уже не могу понять, в чем проблема.
Буду рад если вы подскажите.

Делаю чат-бота, записываю данные о пользователях в файл, от туда-же читаю данные один раз во время запуска бота. Пользуюсь библиотекой json, python3.

Ключи начинают дублироваться после первой же записи в файл.
Вот как я читаю из файла:

def reloadz():
    global users, payments
    try:
        with open(path + 'data.json', 'r', encoding='utf-8') as f:
            datz = json.loads(f.read())
            
            users = datz['users']
            payments = datz['payments']
            
            print(datz)
    except:
        with open(path + 'data.json', 'w') as f:
            f.write(json.dumps({'users': {}, 'payments': []}))
        users = {}
        payments = []

reloadz()

Во время работы бота, я изменяю переменные `users` и `payments`. В конце каждой итерации я делаю запись обратно в файл

with open(path + 'data.json', 'w') as f:
    f.write(json.dumps({'users': users, 'payments': payments}))

В итоге, после первой же итерации, в файле появляется два одинаковых ключа в словаре. Вот пример того, что получается в файле:

{"users": {"603660417": {"sub": false, "current_menu": "main"}, "603660417": {"sub": true, "current_menu": "sub"}}, "payments": [16019644137]}

Думаю уже второй день! Не знаю что делать. Подскажите!

Comments

[Дмитрий Шицков]

Что-то не сходится. Приведенное содержимое файла является невалидным json, т.к. объект json не может содержать ключи-дубликаты. json.dumps не мог выдать такой результат. Тоже самое и при чтении файла - дубликаты в dict не поместить

[gooze]

Дмитрий Шицков, Я не знаю... В итоге у меня именно это и получается.. Может быть что то при f.write() ?

[Дмитрий Шицков]

gooze, подебажте значения переменных, или залогируйте на разных этапах. На худой конец, просто принтаните

[Taus]

Дмитрий Шицков это валидный json. RFC4627 should не значит must :)

[Anton Kuzmichev]

Taus, справедливо. Но вряд ли ТС сериализует какую-то структуру, которая выдаёт одинаковые ключи при итерации. Там же просто dict.

Стало интересно, поигрался, вот такая наколенная структура при сериализации выдаёт json с одинаковыми ключами:

import json

class MultiDict(dict):
    def __setitem__(self, key, value):
        if key not in self:
            super().__setitem__(key, [value])
        else:
            self[key].append(value)

    def items(self):
        for k in self:
            for v in self[k]:
                yield (k, v)

m = MultiDict()
m[1] = 'a'
m[1] = 'b'
m[2] = 'c'
m[3] = 'd'
m[3] = 'e'
print(json.dumps(m))

{"1": "a", "1": "b", "2": "c", "3": "d", "3": "e"}

Десериализации, конечно же, не будет :)

Практического применения не вижу - ведь лучше, когда у одного ключа будет массив значений, если нужно. Но просто показательно. JSON Encoder'у всё-равно, что писать, он просто итерирует структуры данных и пишет потоком в вывод (файл или строку). Касательно mapping-структур данных - encoder итерирует items(), который как раз выше переопределён.

Answer 1

[Taus]

Очень вероятно, что где-то в другом месте кода вы добавляете значения в users как по int-ключу, так и str-ключу. Решение: перейти к одной нотации везде.

import json
d = {123: 'a', '123': 'b'}
json.dumps(d) # '{"123": "a", "123": "b"}'

Comments

[gooze]

Я просмотрел код, а также с помощью инструмента "find and replace" пробовал изменять все id на int(id) в коде. Но все равно, после записи в файл, там появляется дубликат с типом str

[Taus]

У вас при чтении users = datz['users'] ключи остаются строкой, а не конвертируются в число.

[gooze]

Taus, И что сделать что бы они конвертировались в число?

[Taus]

Проще наверно сразу работать id в виде строки везде где возможно, а где требуется число, то преобразовывать. Если хотите в виде числа, то:

users = {int(key): value for key, value in datz['users'].items()}