Есть ли какие хорошие сервисы защиты от парсинга?

Question

[Pogran]

Может кто-нибудь знает хорошие сервисы по защите от парсинга?

Comments

[Модератор]

Pogran дорогой пользователь, настоятельно рекомендуем еще раз обратить самое пристальное внимание на п. 3.1 регламента работы сервиса (и, в особенности, на его последний абзац).
В противном случае, ваши вопросы будут удаляться по причине тег-спама.

[Pogran]

Модератор, спасибо, больше не буду :)

Answer 1

[Максим Федоров]

ломать верстку, чтобы не было закономерностей...
очень сильно доставляет, когда парсишь что-то и нет четких правил, чтоыб зацепиться...
отсюда следует, что можно динамически добавить разные теги именно с содержимым... (может на SEO повлиять)

также серверная защита — количество обращений с одного IP в секунду и прчоее

Вот статья есть интересная:
https://habrahabr.ru/post/234729/

...

Вообще:
Совсем скрыться от парсинга нельзя, можно его удорожить... просто сделать посложнее, сделать жизнь парсера сложнее... но нужно соблюсти факт, чтобы самому себе не усложнить жизнь, то есть все усложнения делать после сборки и на стороне сервера

Например Авито как бы не боролось, постоянно появляется софт, который даже картинки с телефонами тащит без проблем...

Answer 2

[Antonio Solo]

я бы стал определять роботов путем внедрения js-кода, отслеживающего движение мыши. ну и естественно надо знать ip поисковиков что бы случайно не заблокировать их.

Comments

[Pogran]

Способ не очень, т.к можно просесть по seo, а просесть по сео это значит много потерять

[Antonio Solo]

Pogran, я могу полностью повторить поведение поисковика, отличие будет только в IP адресе. так что любой способ блокировки приведет к "проседанию по SEO")

альтернатива - менять структуру страниц - это тебя не спасет, это усложнит мою работу.

[Pogran]

Antonio Solo, ну я думаю что найду достойный способ , который очень усложнит вашу работу)

[Antonio Solo]

Pogran, скорее увеличишь заработки - чем сложнее защита - тем дороже платят за добываемый контент :)

Answer 3

[Evgen]

https://www.distilnetworks.com/ пожалуй, самый большой геморой для парсеров

Comments

[Pogran]

А не могли бы вы детальнее рассказать?

[Evgen]

Pogran, ну, если честно, сам его не использовал для своих сайтов, я скорее по другую сторону баррикад :)
Знаю точно, что у них есть разные уровни защиты, эту систему используют многие большие сайты директории типа manta.com indieGoGo. При максимальном уровне защиты обойти её невероятно сложно, потому-что там используется сложный обфусцированный java script, которые анализирует кучу переменных из браузера начиная от простых заголовков и заканчивая локальным временем, и рендерингом графических объектов. Меня он палил даже когда я скрипты автоматизации через selenium писал.

[Pogran]

Evgen, спасибо большое за ответ :)

[Antonio Solo]

Evgen, а как он ловил, сразу, или через какое-то время работы ?

[Evgen]

Обычно через время. Вообще, если там не настроен самый высокий уровень защиты, то можно обходить это, отправляя правильный запрос перед каждым запросом на данные.