@maxxxixxxx

На каком языке легче всего написать парсер сайта?

Парсер для выкачки информации сайта в цикле.
В массив задаются url адреса разделов.
Дальше парсер в цикле должен пробежаться по каждой странице урлов и вытащить новые урлы на посты.
Дальше в новом подцикле зайти по каждому выпаршенному урлу и выпарсить содержимое.
Взять выпаршенное содержимое и post запросом отправить в php скрипт.

На чем проще всего сделать такую программу?
  • Вопрос задан
  • 3311 просмотров
Пригласить эксперта
Ответы на вопрос 4
opium
@opium
Просто люблю качественно работать
практически на любом высокоуровневом будет легко
задачка детская
Ответ написан
Комментировать
amerov
@amerov
Web Developer
Пример на Ruby docs.seattlerb.org/mechanize/EXAMPLES_rdoc.html
если нужно парсить JS то watir.com/examples & phantomjs
Ответ написан
Комментировать
barkalov
@barkalov
curl / phantom.js в зависимости от степени AJAX'нутости сайта.
UPD: язык — whatever / javascript соответственно.
Ответ написан
Комментировать
@chekhovrussia
На том, на чём умеете писать.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы