Оптимизация высоконагруженных приложений. С++. Какую литературу посоветуете для прочтения?

Question

[hydra_13]

Собственно имеется следующая ситуация

Из различных этапов обработки поступают данные на менеджер потоков - в нем есть глобальная куча входных данных.
Во время начала обработки создаются N потоков парсинга данных и формирования пачек запросов. Каждый поток, если он обработал имевшиеся у него данные, запрашивает новую пачку у менеджера потоков. Тот в свою очередь скидывает запросившему потоку всю имеющуюся кучу входных данных. При накоплении определенного количества данных, либо по времени простоя без входных данных - поток начинает процедуру отправки подготовленных пачек запросов в БД.
Сейчас это работает, делалось путем проб и ошибок. Охота узнать как это можно оптимизировать и где можно об этом почитать.
Заранее благодарю!
З.Ы.: если кто-нибудь поделится своим опытом создания подобных систем, буду примного благодарен! ;)

Answer 1

[Ighor July]

Если запросы однотипные то лучше сделать буфер накопления запросов и объединить их в один запрос. А по результату уже распределять кто что просил.
Меньше запросов - всегда лучше.
Да и надо уточнить, как вы подключаетесь к самой БД? И поддерживает ли библиотека подключения одновременные запросы в пределах инстанса, поддерживает ли параллельную одновременную обработку запросов с разных тредов или же все запросы идут по одному подключению или блокируются мьютексами.

Comments

[hydra_13]

В данном случае треды выступают в роли обработчиков-буферов запросов. В качестве БД используется ElasticSearch (как NoSQL DB), взаимодействие происходит посредством http-bulk-запросов (через RestApi) - специальная разновидность запросов для отправки большого количества запросов в одном.

[hydra_13]

Запросы имеются 2-х видов: на вставку новых записей и на обновление уже имеющихся записей.