Apache Spark или Akka Cluster для потоковой обработки?

Question

[Mr_Sinister]

Что лучше использовать для потоковой обработки данных?
Имеются задачи, на вход которым подаются небольшие строки, далее задачи посылают множество запросов к различным API (vk, twitter, yandex) и в конце сохраняют результат в MongoDB. Время выполнения одной задачи 0.5 - 3 сек. Операции с диском не производятся.
Какой вариант выбрать, чтобы добиться наибольшей производительности?

Answer 1

[f9k56]

Параллелить задачи. И базу специальную, типа такой https://clickhouse.yandex/

Comments

[Николай Бараненко]

уточните пожалуйста clickhouse это колоночная СУБД на подобие HP Vertica?