Последние несколько недель пишу веб-парсер на php. У меня и раньше закрадывались сомнения. Но, после прочтения
этой статьи и комментариев к ней, я убедился, что нужно искать другой путь. А точнее другой язык.
Какой, по вашему мнению, ЯП (+Фреймворк/библиотека)
лучше всего подходит именно для задачи парсинга веб-страниц?
Буду весьма благодарен за аргументированные ответы. А ещё больше за ссылки на статьи по использованию ЯП в этом направлении и/или на репозитории проектов по теме.
Немного о конкретной задаче, над решением которой я работаю: 50+ независимых сайтов (производителей определённых видов продукции), с которых нужно собрать базу их продуктов. Нужно не только 1 раз прогнать, но и повторять прогон хотя бы раз в день, или при появлении новых продуктов (а следовательно и дописывать код при появлении новых особенностей у новых продуктов). Ввиду большого количества сайтов (которое со временем будет только увеличиваться) необходима возможность масштабирования. При этом крайне важна унификация всех параметров.
