Используй базу данных или храни это в документе. Создай бд, и в бд добавляй таблицу для беседы, и добавляй каждого пользователя (если без прав администратора в чате, но чтобы был в боте). И вот в документации есть вот это Клик, должно помочь(Если не нашёл то getChatAdministrators)

Проблема заключается в том, что вы пытаетесь сохранить файл в формате JSON, используя метод download_to_drive(), который сохраняет файл в бинарном формате. Вместо этого вам нужно прочитать содержимое файла в виде текста и сохранить его в формате JSON.

Вот как можно изменить функцию downloader_json(), чтобы сохранить содержимое файла в формате JSON:

import json

async def downloader_json(update, context):
    file = await context.bot.get_file(update.message.document)
    downloaded_file = await file.download()

    with open('items.json', 'w') as f:
        content = await downloaded_file.read()
        json.dump(content.decode('utf-8'), f)