БД или JSON? Можно ли?

Question

[Maxwell012]

У меня +- 10к пользователей, я хочу только уточнить, из данных которые мне надо хранить это только id пользователей, каждый id 8-10 символов, можно ли работать с таким количеством айдишников через json файл?

Answer 1

[Василий Дёмин]

Можно, я разрешаю. Но вообще стоит учитывать, что в будущем скорее всего понадобится хранить какую-либо ещё информацию, добавлять новые записи, удалять и обновлять старые. Всё вышеперечисленное должно ещё и в многопоточной среде работать. Теперь стоит задуматься, а оно вам надо потом с json на СУБД переводить, если можно сразу использовать СУБД, а не костыли городить?

Answer 2

[DevMan]

работать можно.
будет ли удобно и быстро? сомневаюсь.

Answer 3

[Ипатьев]

Это вопрос из серии, "можно ли построить самолёт из одной бумаги, или всё-таки понадобится ещё дерево".
Игрушечный самолётик можно.
Реальный полетит вертикально к земле.

Принципиальная разница между БД и файликом состоит в том, что БД уже заточена под параллельную нагрузку, а файлик - нет. Который в реальном рабочем окружении очень быстро превратится в тыкву, когда два процесса попробуют писать в него одновременно.

Comments

[Maxwell012]

Я работаю на пайтон, там однопоточность, ну все равно спасибо, я буду использовать БД

[Ипатьев]

Да-да, "У меня +- 10к пользователей" - и все в очереди стоят, ждут когда предыдущий освободит "один поток"

[Maxwell012]

Можешь еще подсказать, мне надо посчитать сколько людей проголосовало за +, и сколько за -, но эти данные мне надо временно, думал сначала через словарь, но как я понимаю через словарь это тоже не рационально делать, тоже лучше через БД?

[Ипатьев]

Всё лучше через БД.
При чем здесь словарь я вообще не понял.
Если это демон, который постоянно висит в памяти, а не запускается по запросу, то можно и словарь.
Хотя конечно если демон упадёт, то словарь тоже.

[Maxwell012]

Я создаю бота для тг, мне надо что бы он работал как можно быстрее и проще, просто как по мне каждый ответ это конект с бд и запись в бд, это в разы дольше чем просто например в переменную добавлять плюс один при каждом ответе. (про словарь то я уже переборщил, я сначала думал что словарь потребуется, а щас понимаю что и переменной будет достаточно)

[Ипатьев]

Я так понимаю, что вы его ещё не создали?
Вы сначала создайте.
Множество вопросов сразу отпадут. Особенно про переменные

[Maxwell012]

Я создал, я вот так имел виду сделать:

amount_yes = 0
amount_no = 0

@dp.callback_query_handler(Text(startswith='1q_'))
async def first_question(callback: types.CallbackQuery):
    res = int(callback.data.split('_')[1])
    global amount_no, amount_yes
    if res == '1':
        amount_yes += 1
    else:
        amount_no += 1
    await callback.answer('Спасибо за ответ!')
    await bot.delete_message(chat_id=callback.from_user.id, message_id=callback.message.message_id)

В таком виде он будет быстрее работать и не будет нагружать ничего

[Ипатьев]

Если всё висит в памяти, то можно и в переменной

[Василий Дёмин]

Maxwell012, А после перезапуска amount_yes и amount_no обнулятся, и вся статистика по ответам прикажет долго жить

[Maxwell012]

Василий Дёмин, Мне они нужны только на небольшое количество времени, и они обнуляются сами при задаче следующего вопроса

[Василий Дёмин]

Maxwell012, По коду просто не видно, что обнуляются. Если они обнуляются при следующем вопросе, то какой в них смысл? Два пользователя отвечают на первый вопрос, один ответил чуть раньше и получилось, что переменные обнулились до ответа второго на первый вопрос

[Maxwell012]

Я отсылаю первый вопрос, жду пока 80% ответит да, только как этот предел достигнут, я отсылаю 2 вопрос, когда я отсылаю 2 вопрос мне уже не нужна информация о первом