Как защитить сайт от парсинга, не задев поисковых роботов?

Question

[miyelar249]

Вижу единственный вариант - жесткий фильтр по ip, ибо все остальные методы, что предлагают в интернетах выглядят наивно.
Добавляем в белый лист поисковых роботов только Гугл и Яндекс.
Скачиваем все диапазоны ip подсетей поисковиков и каждый запрос к сайту проверяем на соответствие, если поисковик - не ограничиваем, если 3 запроса в 10 сек с 1 ip - даем капчу. Как такой вариант? И тут сразу вытекают вопросы где взять диапазоны ip Гугла и Яндекса?
Кол-во страниц ~5 млн.

UPD
можно не скачивать все ip, а выполнять обратный dns запрос и сверять хосты с разрешенными + добавлять эти ip в БД, чтобы дальше минимизировать запросы dns
https://yandex.ru/support/webmaster/robot-workings...

Comments

[antonwx]

А я буду парсить по 2 запроса раз в 10 секунд. А ещё кучу прокси куплю за полбакса, чтобы дело побыстрее шло.
А мобильные пользователи вас тем временем проклянут за капчу каждую секунду, т.к. у них один айпи на всё село.
Раунд.

[miyelar249]

antonwx, ну давайте смоделируем. Сколько прокси вы купите и на какой период какая цена?

Answer 1

[Ivan Yakushenko]

Помнится мне роскомнадзор пытался заблокировать по ip телеграмм, в итоге заблокировал всё, кроме телеграмма.
Нигде ты не найдешь диапазон используемых ip-адресов яндексом и гуглом, тем более , что они меняются.
И да, никак ты не защитишь свой сайт от парсинга, это в принципе не возможно.

Comments

[miyelar249]

как вам такое?

UPD
можно не скачивать все ip, а выполнять обратный dns запрос и сверять хосты с разрешенными + добавлять эти ip в БД, чтобы дальше минимизировать запросы dns

[Ivan Yakushenko]

miyelar249, и что это даст? ты понимаешь, что в гугла и яндекса есть свои сервера, которые они продают и на этих серверах вполне могут хоститься парсеры, т.е. в одной доменной зоне с краулером самого гугла и яндекса. Хватит придумывать бред, не защитишь ты никак свой чудо-бложик от парсинга.

[miyelar249]

Ivan Yakushenko, боже, ты флудишь не проверив инфу, отвечаешь на вопрос просто для себя, чтобы убедить и других в своем надуманном ошибочном мнении. Чудо бложик)
Токсичный житель незалежной, не токси мне тут вопрос, не отпугивай людей) Чекай тут, посамообразовывайся хоть)
https://yandex.ru/support/webmaster/robot-workings...

[Ivan Yakushenko]

miyelar249, да успокойся ты уже, это ты флудишь. что тебе вообще даст определение роботов? как ты вообще будешь определять, что сайт парсят? лимит кол-ва запросов вредит только пользователям, которые открывают сразу несколько страниц, парсеры чаще всего используют прокси, т.е. не будет у них с 1 ip много запросов в минуту. запретишь грузить страницу без js? тогда есть selenium и т.д. Ты никак не можешь защитить сайт от парсера, вообще никак, абсолютно. Чаще всего ты усложняешь жизнь только себе и пользователям, но не тем, кто занимается парсингом.

[Ivan Yakushenko]

miyelar249, и да, ты бы сам читать научился:
"Роботы используют множество IP-адресов, которые часто меняются. Поэтому их список не разглашается."
и повторяю еще раз: я могу захостить свой парсер на серверах яндекс и у него будет такой-же хост, как у яндекс-бота.

[ReaverJS]

miyelar249, я не совсем понял. Отделить роботов яндекса - ок. А как от пользователей отличить?

[zorca]

Вспомнился анекдот про Неуловимого Джо, которого никто не может поймать, потому что он нафик никому не нужен.

[Ivan Yakushenko]

ReaverJS, никак. всех забанит и будет сидеть наедине со своим блогом в безопасности.

[miyelar249]

Ivan Yakushenko, ты про какую аренду сервера у яндекса? Про это cloud.yandex.ru? Или опять фантазируешь?)

[miyelar249]

ReaverJS, пользователя можно ограничивать, писал выше 3 запроса в 10 сек. Открыл в 10 вкладках, ну сиди и жди обновляйся.

[miyelar249]

Ivan Yakushenko, не флуди, я не задавал вопрос о ценности какого-то ресурса и его инфы, вопрос прочти еще раз

[Ivan Yakushenko]

miyelar249,

ты про какую аренду сервера у яндекса? Про это cloud.yandex.ru? Или опять фантазируешь?)

да, про этот. и на личности не советую переходить - это нарушает правила ресурса. так что про "фантазии" оставь при себе.

пользователя можно ограничивать, писал выше 3 запроса в 10 сек. Открыл в 10 вкладках, ну сиди и жди обновляйся.

в итоге пользователь закроет сайт и забудет за него, а парсер как работал через прокси так и будет работать.

не флуди, я не задавал вопрос о ценности какого-то ресурса и его инфы, вопрос прочти еще раз

я нигде про ценность ничего и не писал. я тебе уже в который раз пытаюсь донести мысль, что физически невозможно защитить сайт от парсинга, никак, совершенно. если ты считаешь иначе - приведи пример и я его опровергну.

[ReaverJS]

miyelar249, может сработает. Не знаю как у парсеров по IP пулу, но смотрел логи брутфорса по SSH - там их порядком. Т.е. надо их не просто не пускать, но еще и банить.

[miyelar249]

Ivan Yakushenko, обратный днс серверов сервиса cloud.yandex.ru возвратит не yandex.ru/net/com (как в документации), а cloud.yandex.ru.
Жаль нельзя ограничивать доступ к своим вопросам отлельным юзерам. Обьективно - ты только путаешь и мешаешь своими ответами на мой вопрос.

[Ivan Yakushenko]

miyelar249, жаль ты читать что я пишу не хочешь. давай сначала: как ты отличишь пользователя от парсера?

[miyelar249]

Ivan Yakushenko, мне не к чему это. Просто я задаю правила скорости посещения, а собственно и копирования инфы. Текушая разрешенная 3 запроса в 10 сек. Все что работает быстрее - нарушитель, будь то юзер живой или парсер.

[Ivan Yakushenko]

miyelar249, давай теперь чуть дальше: парсер работает через прокси, т.е. каждый запрос с разного ip, пул прокси огромный. У меня сейчас работает в microsoft azure краулер который выгребает примерно 15млн. страниц информации за один проход с сайта airbnb, на котором так-же установлено ограничение на кол-во запросов в минуту, ничем это их не спасает. Но у них не 3 запроса в 10 секунд, а больше, ибо 3 запроса в 10 секунд - это проблемы в первую очередь для пользователей, а не для парсеров.
После этого повторяю еще раз свой вопрос: как ты будешь отличать пользователя от парсера?

[miyelar249]

Ivan Yakushenko, какой объем прокси? тысячи, десятки, сотни тысяч? Это затраты, причем большие, и тот кто захочет забрать всю инфу - заберет, просто купив сотни тысяч проксей, но эта схема отсеит всех остальных злодеев

[Ivan Yakushenko]

miyelar249, 15млн страниц мне стоит спарсить около 40$. Это дорого? Нет. Более того, во фри доступе всегда можно найти около 15к рабочих прокси, совершенно бесплатно. Этого более чем достаточно.

[Ivan Yakushenko]

miyelar249, зачем сотни тысяч? сам посчитай: допустим у меня есть 1000 прокси, у тебя на сайте ограничение в 3 запроса в 10 секунд = 18 запросов в минута с одного ip. Допустим я паршу сайт в 100 потоков и у меня происходит круговая ротация прокси, т.е. первые 100 прокси, затем вторые 100 прокси и т.д., в итоге каждый прокси будет делать всего 1 запрос в 10 секунд, в лучшем случае, при условии хороших прокси с маленьким пингом и очень легкой страницы, в более реальных условиях (фришные прокси, огромный пинг, тяжелые страницы) с 1 прокси запрос будет делаться раз в 40 секунд, скорость паснга в районе 1500 страниц в минуту = 90000 в час = 2160000 в сутки. Это при наличии всего 1000 прокси. А если использовать сервис с ротацией прокси с пулом в 20000 прокси?

[miyelar249]

Ivan Yakushenko, я связывался с паблик бесплатными прокси, автоматом парсил их из нескольких источников и запускал чекер, если 1 запрос прошел по https к известному ресурсу с таймаутом 10 сек, то считал его активным. Помню повозился я с этим до меры когда в базе было пару млн проксей из них активных пару сотен и те с плохой скоростью, и те нерабочие. Потом заметил интересрое, многие паб прокси выполняют 1 успешный и быстрый запрос, а дальше отказываются, искуственная настройка на 1 запрос на лицо. Паблик прокси - это грязь и помойка, не связывался больше. А ты прокси где покупаешь?

[Ivan Yakushenko]

miyelar249, я их не покупаю, использую сервисы типа luminati. иногда использую паблик прокси. есть несколько источников, откуда легко можно собрать 1-2к прокси с нормальным пингом.

Answer 2

[xmoonlight]

Как такой вариант?

Не рой другому яму - пусть сам себе роет!

Публичный контент - на то и публичный!
Хотите скрыть - пожалуйста: отображайте его только для авторизованных пользователей.

Или отложенная публикация до полной индексации нового контента поисковыми системами:
1. Постите новую статью. (линк - никому не даёте! Из поиска своего блога и разделов/тегов - тоже пока её прячите).
2. Добавляете линк в сайтмэп. (Имя файла сайтмэпа - нетривиальное!)
3. Ставите триггер на проверку доступности материала в поиске ПС.
4. Как только везде статья появится в поисковой выдаче (проиндексируется) - открываете её на паблик у себя на сайте.

Comments

[miyelar249]

Публичный контент, верно, но не хочется чтобы его копипастили себе и от своего имени его размещали. А страниц большое кол-во ~ 5 млн страниц

[xmoonlight]

miyelar249, Вообще другой подход!
1. Постите новую статью. (линк - никому не даёте! Из поиска своего блога и разделов/тегов - тоже пока её прячите).
2. Добавляете линк в сайтмэп. (Имя файла сайтмэпа - нетривиальное!)
3. Ставите триггер на проверку доступности материала в поиске ПС.
4. Как только везде статья появится в поисковой выдаче (проиндексируется) - открываете её на паблик у себя на сайте.

[zorca]

miyelar249, как вы себе представляете запретить парсинг при наличии публичного просмотра через браузер?

[miyelar249]

zorca, страниц 5 млн, пользователь ограничен 3 запросами в 10 сек, но поисковики не ограничены. Это постановка задачи

[xmoonlight]

miyelar249,

страниц 5 млн, пользователь ограничен 3 запросами в 10 сек, но поисковики не ограничены. Это постановка задачи

это бред... А не постановка задачи.
Ничто не мешает спарсить такой сайт! От слова: "совсем".

[miyelar249]

xmoonlight, собственно говоря поэттму я и спрашиваю у сообщества) В чем бред? Да, с такой скоростью можно спарсить 5кк страниц за пол года и как раз это бред

[xmoonlight]

miyelar249,

В чем бред?

есть туча параллельных сессий с разными сгенерёнными "пользователями" и мне эти ограничения - вообще по-барабану.

[miyelar249]

xmoonlight, мы говорим про фильтрацию по ip, авторизации на ресурсе нет

[xmoonlight]

miyelar249, я про паблик-сессии сейчас и говорю: с тучей браузеров и ip.

[miyelar249]

xmoonlight, да, это и есть наверное контроль эффективности этой защиты. Т. е. в конечном счете все злодеи отсеятся, а останутся лишь самые заинтересованные у которых достанет средств и желания. В итоге все сведется к десяткам или сотням тысяч прокси + имитаторы и т.д., и тут, естесственно, понимаю, что ничего уже не поможет. Но это можно будет считать как выполненную задачу.

[xmoonlight]

miyelar249, отстойник между индексацией и публикацией - это самый реальный способ обезопасить себя от кражи уникального контента.

Answer 3

[Ranwise]

> 3 запроса в 10 сек с 1 ip - даем капчу

у вас на странице 10 картинок, кучка жс и стилей и в итоге один юзер не сможет даже загрузить страницу как улетит в бан? а после обновления страницы капча? ну сайт закрывается...

Answer 4

[index0h]

Как защитить сайт от парсинга, не задев поисковых роботов?

Закрыть доступ для всех по IP, кроме ботов. Иначе - никак.

Comments

[miyelar249]

спасибо!