Чем осуществить парсер/граббер защищенного сайта?

Question

[Q Q]

Привет.

Есть сайт, который достаточно хорошо отслеживает ботов и соответственно вводит ограничение. Собственно нужен только механизм получение станицы сайта для сохранения, сам парсинг уже реализован.

Сайт моментально блокировал ботов, которые не принимают cookies, однако сейчас блокирует практически все запросы.

Решение было найдено в использовании PhantomJS, однако загрузка страницы можно достигать 1-2 сек, это довольно долго, с учетом того, что нужно сохранять миллионы страниц.

Есть еще варианты?

Comments

[xmoonlight]

какой сайт?

[Q Q]

xmoonlight: Yandex.

[Dark Hole]

Q Q: Yandex.API

[Q Q]

Dark Hole: Спасибо, действительно для моей задачи есть API.

Answer 1

[Дмитрий]

Ну если человек сидит с одного IP и его не банят, значит надо сделать так, как будто по сайту ходит "человек".

Для этого предлагаю вспомнить общеизвестную задачу "банерокрутилку". Имеется N банеров. Их надо прокрутить каждый по 1 разу и за K секунд.

В вашем случае в качестве банеров выступают URL-ы. K секунд делим на Т url-ов и получаем время на каждую ссылку. Но. Чтобы внести не детерменированность, то делаем это с разными промежутками времени перед между очередной итерацией парсинга.

Посмотрите внимательно на вывод:

site.ru/?page1
site.ru/?page2
...
site.ru/?pageN .

Видите?

В этом решение сразу проглядывается цикл и это может быть достаточным основанием для распознования парсинга.

Как правило люди пишут "влоб" потому что головою думать не хотят!

Надо сделать "прогулку" по сайту так: site.ru/?page15, site.ru/?page179, site.ru/?page1, ... Одну страничку за 5 сек посмотрели, а другую 1минуту и т.д. Понаблюдайте за собою, как вы ходите по сайтам? Вы разве за 1-2 сек успеваете прочесть статью? Уверяю вас вы хаотично бродите по сайту. То в личные сообщения, то в избранные, то в поиск заглянете, то из выдачи поиска по какой-то статье. Вот и в парсинг вносите хаотичность

Конечный вывод в том, что вам нужно выбирать между:

• Если хотите быстрый парсинг, значит больше прокси
  
• Если хотите с одного IP, то придется пожертвовать временем работы
  

Comments

[Алексей Ярков]

Впервые вижу так красиво описанное решение. Браво!

[Дмитрий]

Алексей Ярков: Спасибо! К сожалению тема парсинга не достаточно хорошо раскрыта! К примеру не каждый знает ответ на вопросы: "У меня почти битая html-страничка и как ее парсить?" или же "В каких случаях мне надо использовать Selenium + Google Chrome?"

Answer 2

[АртемЪ]

Решение было найдено в использовании PhantomJS, однако загрузка страницы можно достигать 1-2 сек, это довольно долго, с учетом того, что нужно сохранять миллионы страниц.

Решение верное.
2секунды это долго, но если бот работает 24часа в сутки, то за сутки это 40тыс. страниц.
Соответственно 100ботов за сутки сделают 4млн страниц.

Comments

[Александр Аксентьев]

100 phantomjs ботов = 100 виртуальных машин. Потому что фантом нельзя запустить в два инстанса.

[Дмитрий Энтелис]

Александр Аксентьев: амазон нынче не дорог

[Александр Аксентьев]

Дмитрий Энтелис: таки если запустить на сутки 100 впсок = 100 дней пользования выйдет. При почасовой оплате, насколько я понимаю :)
Внутренний еврей негодует, как за сутки потратить 3х месячную оплату :D

[Дмитрий Энтелис]

Александр Аксентьев: если нужно парсить миллионы страниц - очевидно что это стоит денег.

[Евгений]

Александр Аксентьев: docker в помощь

[Антон Л]

Александр Аксентьев: А какие конкретные проблемы будут если мы форкнем 100 инстансов phantonjs?

[Александр Аксентьев]

Антон Л: он просто не запускается больше одного раза. По крайней мере по дефолту. Не копался дальше, т.к. не было надобности.

[Антон Л]

Александр Аксентьев: насколько я понимаю нет никаких проблем сделать так child_proccess.spawn('phantomjs', ...args ) сто раз, а потом обслуживать каждый процесс

[Александр Аксентьев]

Антон Л: проблем никаких нет кроме того что оно просто не работает. Молча висит и ничего не делает.

Пробовал запускать 2 nodejs скрипта которые используют phantomjs.
Один работает, второе молча висит ничего не делает(не может запустить phantom пока первый работает).

[Антон Л]

Александр Аксентьев: Ок, спасибо. Если не сложно, в каком окружении Вы это делали?

[Александр Аксентьев]

Антон Л: debian 7 впска.
node v6.8.1
nodejs v4.6.1

фантом не помню какой собирал из исходников или npm.
Вроде из npm текущий

[hoarywolf]

Фантомов можно запустить столько, сколько позволяет ваша система. А не работает оно у вас скорее всего потому, что при запуске он биндит tcp порт для общения с запустившим его скриптом, а второй инстанс фантома не может забиндить тот же самый порт. Решается на раз-два установкой различных портов для каждого инстанса фантома

Answer 3

[private_tm]

Yandex.API+индивидуальные прокси+мультиаканты+платный апи(смотрите что дешевле обойдеться). Ну я б рекомендовал платное апи.

Answer 4

[Александр Аксентьев]

Каждый день люди заходят на тостер и скидывают в ответах парсеры на миллионы страниц, да такие чтоб не банило.

Спарсить миллион страниц с сайта который ОЧЕНЬ не хочет этого это довольно таки сложная работа.
Либо не сложная, но долгая и/или дорогая.
Зачастую даже на этом можно построить бизнес, если вдруг сумеешь спарсить хоть что-то полезное и не забаниться.

Пока вы не понимаете адекватно сложность и объем этой работы и/или не можете её сделать - не стоит за это браться.

Короче используйте то что есть или платите деньги тем кто это умеет лучше.
Это не пара строк кода на тостере ответить.

Answer 5

[xmoonlight]

Есть система парсинга "Round-Robin".
Допустим, есть 3 сайта и на них туча URL.
Создаётся список урлов, чтобы временной интервал между парсингом URL с одного сайта был не менее 30 секунд.
Т.е.: Сайт1->Сайт2->Сайт3->Сайт1->Сайт2->Сайт3 и т.д.
Если быстрее происходит - ЖДЁТЕ!
После парсинга каждых 5-6 урлов (сессию и user-агента - сохраняем на протяжении парсинга этого интервала) на одном сайте - меняем IP также по "Round-Robin".

В итоге - Вы не создаёте нагрузки и не мешаете удалённому сайту нормально функционировать.

Answer 6

[Антон Л]

Общий концепт может быть таким :
1. Использовать phantomjs, через локальный прокси.
2. Локальный прокси обеспечивает сохранение всех запросов к требуемой странице в формате HAR.
3. Поиск общих последовательностей запросов и кук, на основании нескольких HAR.
4. Отделение кук и параметров устанавливаемых javascript.
5. Поиск скриптов на странице, которые занимаются установкой значений указанных в п.4, с целью дальнейшего их исполнения в виртуальной машине javascript.
На выходе имеем запросы которые необходимо выполнить, список очевидных заголовков, набор функций позволяющих при исполнении javascript, вычислить дополнительные заголовки. Теперь прогоняем весь этот набор через curl (или что то подобное) как и при обычном парсинга.
Главная суть это виртуальная машина javascript и возможность найти то место(функцию) которую ей надо передать.

Answer 7

[cultura]

Решение было найдено в использовании PhantomJS, однако загрузка страницы можно достигать 1-2 сек, это довольно долго, с учетом того, что нужно сохранять миллионы страниц.

Никаких хитрых антиботовых механизмов там нет.

У них там банальный расчет, что пользователь-человек не способен читать страницы даже со скоростью 1 страница в секунду.

Подделаться под бота Яндекса не получится - ваш IP должен из подсети Яндекса и резольвится по их DNS.

У Гугля аналогично.

А на остальных ботов они могут выставить банальное ограничение - не более 30 страниц в минуту, например.

А вообще - это не этично.
Вам же в явном виде отказали и закрыли перед носом дверь. А вы - через окно полезли.

Comments

[private_tm]

да апи юзать и всё)

Answer 8

[Dimonchik]

Яндекс знает паблик прокси, надо частные или как повезет

но если вы без кук его парсить начинали, думаю, еще есть куда расти перед масспрокси

Answer 9

[++++ -----]

function getSslPage($url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_REFERER, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
$result = curl_exec($ch);
curl_close($ch);
return $result;
}

Comments

[Дмитрий]

Проясните свою идею. Интересно в чем заключено ваше решение?

Answer 10

[hOtRush]

phantomjs нужен только в одном случае - если сайт не работает без JS. во всех остальных случаях достаточно проксей, коих сейчас даже в открытом доступе или за малые деньги - десятки тысяч.