Высоконагруженный WEB сервис (Saas), как правильно организоваться очередь выполнения задач?

Question

[Андрей Рудаков]

У нас сервис автоматизации торговли в интернете.
Сервис работает на PHP (Yii2 Rest API), NodeJS, база данных MySQL и индексация в ElasticSearch для полнотекстового поиска и фасетных фильтров.
Столкнулись с проблемой:
Организация очереди - в фоновом режиме выполняется в районе 10000 задач в секунду, идёт постоянная запись/обновление в MySQL. Бывает, что MySQL не справляется с таким потоком.
Интересуют следующие вопросы:
1. Где и как хранить очередь и на чём лучше её реализовать? (Это отправка email, обновление цен у товаров, позиций и т.д)
2. Возможно, какая-то БД подойдёт лучше, если да, то какая? (Требование для БД: постоянное обновление записей и запись. Огромное количество данных, быстрое чтение).

Железо:
Процессор: Intel Xeon E5 2650v4 8x2.20 GHz
Память: 32 GB DDR4
Диск: 100 GB SSD (RAID 10)
Порт: 1000 Mbit

Comments

[Сергей Соколов]

мелкие запись-чтение задач можно перенести в RAM, скажем, в Redis. Конечно, не стоит с такой частотой одноразовой мелочи грузить MySQL.

Т.е. я бы в качестве менеджера задач использовал Redis.

[Андрей Рудаков]

Сергей Соколов, А далее есть идеи как обновлять MySQL? Окей в Redis вынесу все задачи, но мне всё равно нужно обновлять огромный пул записей в MySQL

[Василий Банников]

Андрей Рудаков, можно попробовать Tarantool - у них в доке вроде как раз есть пример, как можно использовать его для горячей записи/чтения с периодическим батчингом в более долговременное хранилище.

[Сергей Соколов]

Андрей Рудаков, про БД подробнее бы уточнить использование. Часто читают редко пишут? Читают/пишут примерно одинаково? Что за данные — точно ли нужна реляционная база, может key-value лучше подойдёт.

[Андрей Рудаков]

Сергей Соколов, Реляция нужна, связи есть и не мало. С базы частое чтение, как и запись так и обновление.

[Иван Кулаков]

Андрей Рудаков, тарантул должен подойти, он in-memory но есть и сброс на диск, шардинг, есть даже поддержка SQL запросов, рекомендую)

Answer 1

[Андрей Рудаков]

Полностью поменяли стак на:
NodeJS, RabbitMQ, Postgres, Redis и для аналитики ClickHouse.
И переписываем на микросервисную архитектуру.