Задача как раз сделать многопоточную систему, в которой основные расчеты происходят в пакетном режиме при вставке данных. То есть получение пакета новых данных, вставка и обработка с расчетом большого количества новых полей. Первая реализация на MySQL и Python оказалась довольно медленной. Ее удалось распараллелить просто запуском нескольких процессов на питоне, каждый из которых обрабатывает свою часть данных (типа партиций, например один процесс обрабатывает строки 1-10000, второй 10001-20000 и т.д.) Но хочется найти более модное решение типа hadoop, но поскольку работа с базой данных, смотрю на mongodb.
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
