Хорошо ли подходит NodeJS для парсинга сайтов?

Question

[Crash]

В последнее время по работе часто приходится заниматься парсингом сайтов. Сейчас использую в основном PHP Simple DOM HTML Parser, но хочется чего-то более продвинутого - например, чтобы была возможность автоматически ходить по ссылкам в постраничной навигации итд. Посматриваю на NodeJS и его модули. Стоит ли углубляться в эту тему или эта инфраструктура не сильно отличается по возможностям от решений на базе PHP?

Comments

[xmoonlight]

Crash, Если не сложно, хотелось бы дополнить вопрос:
что на PHP применять для исполнения JS в памяти аналогично тому, как это делает phantomjs? Есть ли такие (не "кривые") решения?
Спасибо.

Answer 1

[Максим]

отлично подходит, как уже указано было выше - phantomjs очень крут!

Answer 2

[Muhammad]

Хорошая альтернатива фантому - Nightmare: https://github.com/segmentio/nightmare

Comments

[Muhammad]

Deodatuss: да, но это ведь не ей называться альтернативой

[Muhammad]

*не мешает

Answer 3

[spotifi]

Дело не в языке. А в инструменте.
Например Scrapy - отличный инструмент. Он на Python. Но думаю есть и на PHP и JS (Node) нужно только поискать.

Если же речь о полной эмуляции JS, то тогда да, только JS.
Но не NodeJS - это по сути косольный JS.
А headless-браузер на JS - это и обеспечивает полную эмуляцию DOM браузера и полное управление. Например, PhantomJS. Но если для парзинга сайта не нужна полная эмуляция DOM (сайт не является сайтом с навороченным AJAX), то нет необходимости в PhantomJS

Тогда ищи просто удобную библиотеку для твоего любимого языка...

Answer 4

[bromzh]

https://ru.wikibooks.org/wiki/Grab

Comments

[Crash]

с пайтоном сейчас практически не работаю

Answer 5

[sim3x]

Когда у тебя в руках лом - все кажется сайтом

Стоит посмотреть на golang

Comments

[spotifi]

Если Go, то тогда уж вот это
https://github.com/PuerkitoBio/gocrawl

Answer 6

[private_tm]

Нормально. Можешь еще глянуть в сторону phyton.

но хочется чего-то более продвинутого - например, чтобы была возможность автоматически ходить по ссылкам в постраничной навигации и тд.
Ну это по моему везде реализовывать надо)

кстати PHP Simple DOM HTML Parser уметь xpath тоже мощная штука(если изучить там по факту нечего учить)

Answer 7

[Sstrax]

Никто не пишет про cheerio.

Неужели он на столько плох? Мне показалось, что он достаточно облегчен и алгоритм прост (загрузка-расчленение-сохранение). Возникла только проблема с циклом. Когда прогоняешь его по всем страницам в цикле - он пытается этот цикл выполнить одновременно(синхронно). А вот как заставить цикл продолжать выполнение только после завершения предыдущего шага - не понял пока. Если можете - ткните носом, пожалуйста!

Идея была написать свой API к сайтам, которые этого не предусматривают...

Comments

[Crash]

уже немного опробовал, он неплох для начала

[Sstrax]

А с моей проблемой не сталкивался?

[Crash]

Sstrax: пока нет, мне там элементарную вещь надо было сделать

Answer 8

[Максим Кудрявцев]

Посмотри в сторону ANTLR. Сам инструмент на Java, но есть targer в JS

Answer 9

[hOtRush]

я бы посоветовал питон или го, парсить ноджсом, еще и с фанотомжсом - потребуется туча железных ресурсов