Как собирать и анализировать статистику 5к человек?

Question

[Roktober]

Есть вк бот на python, база mysql
На боте сидит >5k человек
В арсенале Python
Нужно как-то сохранять статистику о пользователях
Статистика для пользователя будет примерно такого вида

{
voronka:{
stage1:1
stage2:игнор
stage3:нет
stage4:1
}
cikl1:{
stage1:1
stage2:1
stage3:1
stage4:1
}
webinar:{
reg:1
prishol:1
freeze:0
}
}

Поля могут быть разные для разных пользователей и очень сильно варьироваться
Как хранить такие данные? Как обрабатывать такое кол-во данных?
Выдержит ли 8оперы, если открыть список из 5к диктов

Comments

[devalone]

Не совсем понятно, что твои данные значат.

prishol

не делай так никогда)

[Roktober]

devalone, причем тут значимость данных, это просто пример

[devalone]

Roktober, хз, причём тут значимость, я про формат. Что ты описал? Тебе приходит откуда-то такой JSON и тебе нужно его просто хранить? А запросы делать по нему нужно? Какие?

Answer 1

[Andrey_Dolg]

Ну 5к это мало так что всё окей, но обрабатывать лучше генератором или выгружая конкретный параметр. Статистику храни где хочешь хоть в виде файлов на каждого юзера. =)
Но раз ты знаешь, что такое mysql то используй его или sqlite, любая база упрощает работу с данными.