я никоим образом не разработчик но возможно вам помогут такие инструменты.
1 если много записей в базу а чтений на порядок меньше то посмотрите на движок TokuDB от Percona
2 также можно построить архитектуру вокруг брокера сообщения например rabbitmq в нем будут очередя для разных вещей - новые задачи с саайта идут в чередь оттуда их забирает скрипт и запускает воркеров который выполняют задачу, состояние задач и резльтаты воркеры могут тоже класть в другие очередя, а оттуда их уже забирать на сайт в базу или еще куда. Зачем это вобще нужно ? - Очередя задач и данных это буфер который позволяет размазать нагрузку во времени. Например результаты пишутся не напрямую в базу а сначала в очередь, а на сервере базы воркер читает очередь и кладет данные в базу при этом мониторя нагрузку на базу и недопуская оверлоада.
