Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, зачем сотни тысяч? сам посчитай: допустим у меня есть 1000 прокси, у тебя на сайте ограничение в 3 запроса в 10 секунд = 18 запросов в минута с одного ip. Допустим я паршу сайт в 100 потоков и у меня происходит круговая ротация прокси, т.е. первые 100 прокси, затем вторые 100 прокси и т.д., в итоге каждый прокси будет делать всего 1 запрос в 10 секунд, в лучшем случае, при условии хороших прокси с маленьким пингом и очень легкой страницы, в более реальных условиях (фришные прокси, огромный пинг, тяжелые страницы) с 1 прокси запрос будет делаться раз в 40 секунд, скорость паснга в районе 1500 страниц в минуту = 90000 в час = 2160000 в сутки. Это при наличии всего 1000 прокси. А если использовать сервис с ротацией прокси с пулом в 20000 прокси?

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, 15млн страниц мне стоит спарсить около 40$. Это дорого? Нет. Более того, во фри доступе всегда можно найти около 15к рабочих прокси, совершенно бесплатно. Этого более чем достаточно.

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, давай теперь чуть дальше: парсер работает через прокси, т.е. каждый запрос с разного ip, пул прокси огромный. У меня сейчас работает в microsoft azure краулер который выгребает примерно 15млн. страниц информации за один проход с сайта airbnb, на котором так-же установлено ограничение на кол-во запросов в минуту, ничем это их не спасает. Но у них не 3 запроса в 10 секунд, а больше, ибо 3 запроса в 10 секунд - это проблемы в первую очередь для пользователей, а не для парсеров.
После этого повторяю еще раз свой вопрос: как ты будешь отличать пользователя от парсера?

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, жаль ты читать что я пишу не хочешь. давай сначала: как ты отличишь пользователя от парсера?

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249,

ты про какую аренду сервера у яндекса? Про это cloud.yandex.ru? Или опять фантазируешь?)

да, про этот. и на личности не советую переходить - это нарушает правила ресурса. так что про "фантазии" оставь при себе.

пользователя можно ограничивать, писал выше 3 запроса в 10 сек. Открыл в 10 вкладках, ну сиди и жди обновляйся.

в итоге пользователь закроет сайт и забудет за него, а парсер как работал через прокси так и будет работать.

не флуди, я не задавал вопрос о ценности какого-то ресурса и его инфы, вопрос прочти еще раз

я нигде про ценность ничего и не писал. я тебе уже в который раз пытаюсь донести мысль, что физически невозможно защитить сайт от парсинга, никак, совершенно. если ты считаешь иначе - приведи пример и я его опровергну.

Как защитить сайт от парсинга, не задев поисковых роботов?

ReaverJS, никак. всех забанит и будет сидеть наедине со своим блогом в безопасности.

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, и да, ты бы сам читать научился:
"Роботы используют множество IP-адресов, которые часто меняются. Поэтому их список не разглашается."
и повторяю еще раз: я могу захостить свой парсер на серверах яндекс и у него будет такой-же хост, как у яндекс-бота.

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, да успокойся ты уже, это ты флудишь. что тебе вообще даст определение роботов? как ты вообще будешь определять, что сайт парсят? лимит кол-ва запросов вредит только пользователям, которые открывают сразу несколько страниц, парсеры чаще всего используют прокси, т.е. не будет у них с 1 ip много запросов в минуту. запретишь грузить страницу без js? тогда есть selenium и т.д. Ты никак не можешь защитить сайт от парсера, вообще никак, абсолютно. Чаще всего ты усложняешь жизнь только себе и пользователям, но не тем, кто занимается парсингом.

Как защитить сайт от парсинга, не задев поисковых роботов?

miyelar249, и что это даст? ты понимаешь, что в гугла и яндекса есть свои сервера, которые они продают и на этих серверах вполне могут хоститься парсеры, т.е. в одной доменной зоне с краулером самого гугла и яндекса. Хватит придумывать бред, не защитишь ты никак свой чудо-бложик от парсинга.

Как создать коллаж с помощью кода Python?

Setaz213, а в чем проблема в твой готовый код скопировать код, приведенный выше?

Как создать коллаж с помощью кода Python?

Setaz213, а как по-другому ты собираешься запускать python-код?

Как реализовать многопоточность в программе?

че вы там на python компилируете то?

Оцените конфигурацию игрового пк?

А что в нём игрового?

Как спрасить динамическую таблицу на Python?

Маска,

In [1]: import requests

In [2]: r = requests.get('https://www.proxy-list.download/api/v0/get?l=en&t=http')

In [3]: r_json = r.json()

In [4]: len(r_json[0]['LISTA'])
Out[4]: 1180

In [5]: r_json[0]['LISTA'][0]
Out[5]:
{'IP': '103.42.162.30',
 'PORT': '8080',
 'ANON': 'Transparent',
 'COUNTRY': 'India',
 'ISO': 'IN'}

Где можно использовать дуо php + python?

Araik, извини, не правильно подал мысль. Я имел ввиду, что где-то работающий php и выполняющий свои задачи и где-то работающий python выполняющий свои задачи и вместе они формируют целостный продукт - это хорошо, если работает и выполняет свои задачи. Но, на моё мнение, автор под фразой "дуо php + python" имел ввиду более тесную интеграцию и тут уже следует задуматься о целесообразности такого франкенштейна.

Где можно использовать дуо php + python?

Araik,

лучше всего

В мусорном ведре

Очередной самопал на php + ml где-то рядом существует и используется, но под определение "технологии нужно применять там, где они подходят лучше всего" не подходит от слова совсем.

Как написать нейросеть на Python?

Во-первых с такими "вопросами" вам сюда, во-вторых для линейной регрессии можно обойтись и без ML, достаточно scikit-learn.

Есть ли Python задачник?

javedimka, зачем вообще пытаться запоминать что-то намеренно? Необходимые функции и так запоминаются по мере работы с ними, а используемые функции для решения большинства "мелких задачек" используются в большинстве случаев только для решения этих самых задачек, то бишь с практической точки зрения это будут явно не знания первой необходимости и не второй.

Есть ли Python задачник?

Taler_Du, тебе и так сейчас дают советы бывалые отцы (не я), у которых куча опыта и знаний.

Есть ли Python задачник?

Taler_Du, какие еще задачки? От того, что ты в уме миллион раз 2 на 2 умножишь ты не научись вычислять корень из многозначных числе в уме. Тебе дали ответ: ставь перед собой задачу и решай её. Вся необходимая для этого информация есть в интернете, в частности в книгах и документации. Не знаешь как написать функцию Х? Гугли, большая часть всех вопросов уже имеют ответы.