Занимаюсь разработкой ботов для вк и телеграм, практически везде используется база данных для хранения пользователей. При каждом сообщение пользователя идет обращение в базу на наличие оного там. Пока проекты были небольшими - проблем не ощущалось, но со временем начали происходить тормоза из-за того что база за это время только разрасталась и количество сообщений в секунду значительно увеличилось.
Пришел к выводу, что хранить данные о пользователе придется либо в json формате, в выделенной для этого папке, где пользователи, которые не общались с ботом >30 минут будут удаляться, либо воспользоваться memcached. Так же данные необходимо будет изменять и в базе данных, и в том месте, где это придется хранить, но столкнулся с проблемой, что я либо получаю нагрузку на ОЗУ, либо на хард сервера (да, сейчас я тоже получаю её не меньше, но всё же)
Как можно решить данную проблему? Есть ли более лаконичные варианты, помимо костыля вида json файлов и менее ресурсозатратные? Можно ли оптимизировать работу системы?
Заранее спасибо за ответы, в которых не будут речи про смену яп.
Наверное ты хранишь не самих юзеров а их ответы или запросы, не думаю что даже миллион записей юзеров в грамотно продуманный таблице и продуманными запросами будет тормозить ☕ Для потоковых данных наверное логично использовать кафку или типа того
