Какой парсер самый быстрый по сравнению с другими языками?
Всем привет.
Не могу никак определиться на чем написать парсер
Есть задача - написать парсер, который будет сканировать примерно 1М страниц (несколько десятков разных сайтов) периодически повторяя скан, сохранять изменения в базу
Перечитал много чего.
И все пишут в ответ на вопрос - "На чем написать парсер", что нужно писать на том что лучше всего знаешь, но я задам вопрос чуток по другому
Больше всего я работаю с PHP, но писать на нем такой парсер я не хочу, из-за маленькой скорости работы (проверял сам - писал парсер)
У меня в планах выучить новый язык и учить, как известно, лучше всего на практике.
Вот мой вопрос - на каком языке лучше всего написать парсер который будет БЫСТРО работать (по сравнению с другими ЯП), с большим количеством данных
Повторюсь важна скорость и возможность в кратчайшие сроки спарсить большое количество данных.
Я не жду готовых решений, а всего лишь хочу узнать, кто на чем пишет. Может сравнивал скорость работы разных парсеров и т.д.
Хочу узнать свежую информацию потому что в рунете нахожу статьи только годичной и больше давности.
Если вы имеете ввиду парсер web страниц в интернете, то "узким" местом у вам будет не язык а сетевые запросы к этим страницам.
Также стоит учесть, что подобные задачи лучше решать во множество потоков, где php будет не столь удобен как go или nodejs.
Сдаюсь, быстрое гугление показало такие пакеты как "webworker-threads" и "threads", хотя я nodejs никогда не использовал, и с моей стороны были весьма опрометчиво его советовать...
Простой
