Как выявить парсер?

Question

[Pogran]

Как можно достоверно и быстро выявить что сайт парсер парсит?

Comments

[alex-1917]

Достоверно и быстро? Ну уж точно не за пару коврижек, снимите уже розовые очки....

Answer 1

[Lander]

Была у меня одна история. Нужно было спарсить фотографии с сайта одного крупного. За сайтом следили (то есть админы/программеры не дауны), поэтому обычные get-запросы curl-ом через 100-200 штук блокировались по IP. Дальше привожу нашу борьбу в качестве списка.
1. Блокировка частых запросов - Я выставляю задержку. Скорость существенно падает, а количество запросов возрастает не значительно. Формирую список прокси, завожу их в скрипт и выставляю при достижении Gateway Timeout смену прокси.
2. Блокируют все прокси с которыми я работал (новых не нашёл) - Анализирую имена файлов и выясняю алгоритм их формирования (idшники и названия уже были у меня на руках спарсеные), таким образом исключаю запросы к html и начинаю выкачивать только фотки (у каждой сущности было несколько фотографий. каждый раз разное). Как только приходит 404 - меняю сущность.
3. Продолжаются блокировки по IP, но теперь терпимо - за сессию успеваю выкачивать около 1000 фоток, потом смена IP на роутере и снова в путь.
4. Они снимают ВСЕ блокировки и отдают изображения на каждый запрос (Казалось бы всё хорошо), но через некоторое время на этот IP они начинают отдавать ОЧЕНЬ сильно искаженное изображение (ЧБ + шум + скрученное в спираль).
Анализатор изображения я уже конечно писать не стал... :)

Comments

[Pogran]

т.е для меня выход следующий как я вижу, когда я выявлю что меня парсят надо отдавать не тот контент что должен быть) т.е блокировать ip нет смысла т.к начнут юзать прокси и у них будет всё ок) а вот в определенный момент рандомна через n запросов подозрительных от одного ip начать выдавать не тот контент хорошее решение как по мне

[Lander]

Pogran, Ну во всяком случае меня это остановило. НО, это решение никак никак не снизит нагрузку на сервер, а просто отобъёт желание автоматически получать с вашего сайта инфу. Конечно же и это решение можно обойти... тут уже вопрос: а оно того стоит? У меня не стоило явно :)

[Pogran]

Lander, у меня тут ещё вопрос . а как быстро узнать парсер? я понимаю что последовательность запросов с одного ip. А просто к тому как эту автоматическую блокировку сделать. как мне счёт вести обращений?

[Lander]

Pogran, Ну первое, что лично мне приходит в голову - это "ловить" действия, которые пользователь сделать случайно не может, а парсер - легко. Например добавлять на страницу скрытую ссылку

<a href="http://site.com/welcomebot.php" style="display: none"></a>

и в скрипте welcomebot.php ставить определение ip-адреса. То есть пользователь сам по этой ссылке не перейдёт (ибо её не видно), а парсер, которому эта ссылка хорошо видна - перейдёт. Есть, конечно вероятность, что пользователь сам посмотрит исходный код страницы и перейдёт по этой ссылке, но сам виноват. Нефиг лезть куда не следует. :) Или, например, на первый раз прощать таких "мамкиных хакеров", а на второй раз уже блокировать.

Answer 2

[Вячеслав Успенский]

1. Зачем?
2. Никак. Если ваш контент кому нибудь нужен то его спарсят. Если начнете блокировать то есть же прокси, эмуляция броузера и прочие вещи.

Comments

[Pogran]

ну я считаю что можно доставить им неприятности + сделать динамические привязки на сайте а в частности классы динамикой и id у блоков

[Вячеслав Успенский]

Pogran, вот действительно нерешаемая проблема

[alex-1917]

Pogran, кому ИМ доставить неприятности?))) Миллиарду роботов-парсеров? Да у них даже имени нету))) А еще вы не слышали про фермы? Там под заказ могут начать выкачку с нескольких тысяч разных ip и разных конфигурации алгоритма выкачки, найдете хотя бы сотню-другую админов для отражения?))))

Answer 3

[alex-1917]

Лучшая защита - как известно - нападение, поэтому атакуйте этих злобных буратин кривизной сайта и глючным зависающим сервером, роботы-парсеры с ума сойдут)))
Ну а если серьезно, то это вечная проблема ключ-отмычка, все зависит от пропорции ценность ваших картинок против стоимости затрат на борьбу.
Главное не увлекаться, чтобы борьба с парсерами не стала борьбой ради борьбы (или как там иногда называют - дело принципа))).
А то напоминает разговор типичных горе-бизнесменов, сидящих в закредитованных мерседесах-500, а вместо штанов рваные трусы:

- у тебя какие обороты, Вась?
- у меня 10 лямов в месяц, горя не знаю, Федь!
- и у меня также, кайфую, Вась!
- а ты не слышал, что такое прибыль, Федь? По телику вчера передавали!
- неа, Вась, не слышал! да забей! обороты же!!!
- ну да, Федь!

Comments

[alex-1917]

С апреля так и не решили вопрос, все также воруют у вас?))) Как и вы впрочем)))
Как сделать чтобы материал не копировали?
Как спарсить этот сайт?

[Pogran]

alex-1917, :) ну скажем так раньше я пытался у других взять не скрываю это, а сейчас уже пытаюсь своё обезопасить)

Answer 4

[zim32]

Можно запускать джаваскрипт $(window).on('mousemove') и смотреть двигает ли пользователь мышкой )
Проблема правда в том что контент уже улетел.

Answer 5

[Dimonchik]

с fail2ban начни

методы защиты есть и вполне простые

например https прокси не так много и т.п.

Comments

[alex-1917]

Автор не так прост))) - Как спарсить этот сайт?

Answer 6

[Evgen]

Круче distil network пока ничего не придумали

Comments

[Pogran]

интересный ресурс надо будет детально посмотреть. правда не нашёл что-то прайса цен

[Evgen]

Я занимаюсь парсингом уже более 4х лет. И, кроме distil всё остальное проблем совершенно не доставляет :)