Стоит следующая задача.
Написать демоны для обработки большого количества и больших по размеру xml файлов. Обрабатывать придется все время для постоянной актуализации данных.
Что подскажете для подобной задачи?
Проект на php, переходим на архитектуру микро-сервисов, поэтому выбор стоит между phpdaemon или Golang.
Так же подскажите хранилище данных, в которое можно постоянно вписывать большое кол-во данных.
Допустим, обработчики будут запущены в 10 потоков и посекундно будут обрабатывать несколько тысяч объектов. Нужно хранилище, способное выдержать от 20к хитов в секунду, которое не будет деградировать.
Спасибо
phpdaemon уже мертв. Рекомендую вам взять amphp. Но если у вас есть достаточно опыта с go то лучше на go.
по поводу хранилища - можно писать в память (redis, или в очереди) и потом агрегировать в какую-нибудь couchdb. Или просто в couchdb/mongodb и если не будет хватать производительности писать в буфер.
Средний
