Парсинг с имитацией действия пользователя?

Question

[Михаил Р.]

Всем привет!
Написал свой первый парсер на php с curl, который относительно успешно парсит Авито.
Если парсер выполняет задачи с моего локального компа, то спустя 10-20 посещений (посещение раз в 5 минут) парсер перестает 'доставать' нужную инфу с Авито, ему просто выдает пустую страницу, но в этот-же момент зайдя руками через браузер (с того-же компа и ip) - все нормально отображается.
Я так понимаю, парсер блочат потому-что он отправляет напрямую get запросы?

Знакомый натолкнул на мыль посмотреть в сторону консольных браузеров и выполнение парсинга через них, например PhantomJS. Я перекопал кучу инфы и здесь встало несколько вопросов:
1. Через PhantomJS я могу спарсить нужную страницу (js кодом) и далее уже с ней взаимодействовать php кодом?
2. PhantomJS хороший вариант для такой задачи? Есть-ли более удобные варианты?
3. Какие есть более интересные способы парсинга сайтов, что-бы имитировать действия пользователя в браузере (название инструментов)?

Заранее спасибо!

Comments

[Михаил Р.]

Александр +: учиться на чем-то нужно, а т.к. он для меня и по задаче подходит - вдвойне эффективно!

[Михаил Р.]

Александр +: ну Сладно сам схомячил, значит за двоих будет отдуваться... =)

[Дмитрий Беляев]

Александр +: так им и надо вирусо-распространителям этим

[Дмитрий Беляев]

Александр +: попробуйте открыть инструменты разработчика хром на их сайте, они так пекутся за свой говнокод, что сажают вирус в расширения хрома, хотя может что и изменилось сейчас, у меня уже с полгода авито в черном списке

[Дмитрий Беляев]

Александр +: открытие инструментов разработчика можно отследить на js, установить расширение в хром можно с сайта не запрашивая разрешения (у хрома есть даже issue на эту уязвимость, но гуглу до лампочки), авито этим пользуется, устанавливает расширение хрома, которые полностью блокирует как инструменты разработчика, так и управление расширениями...
Вывод у меня один, боятся опозориться своим говнокодом, а он у них действительно такой

Answer 1

[Виталий]

Фантом нормальный вариант, если хочется работать напрямую через пхп капайте в сторону селентиум драйверов к браузерам . А так на js есть phantom nightmare, изучите, что вам подходит больше.

Answer 2

[rPman]

Когда то достаточно давно мне надоело бодаться с разработчиками сайтов, которые борятся с теми кто пытается получить к их данным автоматически (парсеры, сканеры, эмуляторы кликов), я просто перешел на полноценные браузеры внутри моего же приложения (c# или mono компонент WebBrowser использует firefox или ie в зависимости от платформы, на java это javafx WebEngine, я работал с обоими), к загруженной странице в котором я имею абсолютный доступ.

Можно делать скрины страницы сайта с размерами на порядок больше чем это вообще возможно в классическом браузере (помню скринил гуглмапс картинкой в 30к х 30к пикселов), доступ к элементам страницы удобными getElementById или getElementsByTagName, или по желанию запустить свой javascript на странице, который будет уже работать на странице как ее собственный скрипт,.. итоговое приложение никто не помешает делать например консольным, я запускал mono приложение на полбаксовой VPS-ке, там используется основанный на firefox компонент, очень экономный по ресурсам.

Comments

[Alex XYZ]

От себя добавлю CefSharp: Chrome внутри C#.

[Михаил Р.]

Если я правильно понял, то можно подключиться из скрипта к WebBrowser > Chrome (например) и далее уже 'как-бы' от имени Chrome выполнять действия на доноре?
Кукки и все атрибуты полноценного браузера тогда будут присутствовать?

[rPman]

Да, без особых действий некоторое отличие браузера от дефолтного будет в user agent но его можно подправить. Браузер абсолютно идентичный натуральному, потому как им и является.

т.е. единственный адекватный метод борьбы с подобными механизмами - только статистический и аналитический, т.е. искать паттерны поведения пользователя, работа мышкой, переходы по ссылкам, частота, количество, загружаемая информация и много много гемороя и ложных срабатываний.