Redis или RabbitMQ для вставки записей в MySQL?

Question

[WebDev]

На сервис приходит большое количество людей, и о каждом посетителе пишется информация в базу. Получается очень много маленьких запросов на вставку.
Чтобы улучшить ситуацию, решил собирать данные в какое-нибудь промежуточное хранилище и раз в минуту вставлять пачкой в MySQL.
Какой инструмент для этого подойдет?

Comments

[Дмитрий]

С каким уже знакомы, вроде и тот и тот норм

[Максим]

Для вашей задачи проще будет использовать Redis. Если у вас в проекте будут на постоянке использоваться очереди, тогда уже можете смело устанавливать и ковырять кролика.

А вообще, для вашей задачи можно просто использовать запись в файл) пишите в него и раз в минуту читаете и очищаете - чем не очередь?)

[Иван Шумов]

Давайте определимся с вопросом что есть большое количество пользователей сначала

Answer 1

[kikimarik]

На мой взгляд, брокер тут не нужен. Просто собираете в Redis, а потом это все забираете в мускул. А брокер - это скорее про выполнение тяжелых процессов, которые ставятся в очередь.

Comments

[paran0id]

Из редиса данные могут потеряться в случае сбоя. Если записей прям ОЧЕНЬ много, можно поставить kafka с микробатчами, и из кафки перекладывать в mysql.