Что выбрать для парсинга больших xml?

Стоит следующая задача.
Написать демоны для обработки большого количества и больших по размеру xml файлов. Обрабатывать придется все время для постоянной актуализации данных.
Что подскажете для подобной задачи?
Проект на php, переходим на архитектуру микро-сервисов, поэтому выбор стоит между phpdaemon или Golang.
Так же подскажите хранилище данных, в которое можно постоянно вписывать большое кол-во данных.
Допустим, обработчики будут запущены в 10 потоков и посекундно будут обрабатывать несколько тысяч объектов. Нужно хранилище, способное выдержать от 20к хитов в секунду, которое не будет деградировать.
Спасибо
  • Вопрос задан
  • 1263 просмотра
Решения вопроса 2
@abcyu
Разработчик
Комментировать
evnuh
@evnuh
Поиск Гугл помог мне, впусти и ты его в свой дом
golang + tarantool. Вот бенчмарк тарантула tarantool.org/benchmark.html, гле workload F - ваш случай.

В golang прекрасный потоковый парсер xml по токенам. Сам писал парсер на нём для YML файлов, работает молниеносно.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
Fesor
@Fesor
Full-stack developer (Symfony, Angular)
phpdaemon уже мертв. Рекомендую вам взять amphp. Но если у вас есть достаточно опыта с go то лучше на go.

по поводу хранилища - можно писать в память (redis, или в очереди) и потом агрегировать в какую-нибудь couchdb. Или просто в couchdb/mongodb и если не будет хватать производительности писать в буфер.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы