Может ли сайт заблокировать «по железу»?

Question

[Hokkel]

Я сделал парсер довольно крупного сайта, после множества запросов (~10к) с отличными прокси (каждый запрос меняются) мне выдает сайт капчу
Тут стоит обратить внимание что сайт парсится не через вебверсию, а через запросы (python)
Заголовки каждый запрос генерирую разные

Как я понял что бан именно по железу? Этот же парсер отлично работал на сервере тоже примерно то же время (капчу не выдавал), в то время как я его запускал на своем пк и результата ноль.

Дальше сайт не пускает без каптчи совсем, напоминаю что прокси действительно высокого качества и подозрений на них нет, это именно что-то с железом но в моем понимание сайт не может так забанить раз он не имеет доступа к java, js, flash, webrtc

Comments

[Игорь]

Пачка прокси решат проблему, и к бабушке не ходи.

Пачка из 50 прокси как минимум, на лету меняй.

Я так весь вконтакте крубым перебором спарсил за 1 неделю и на большой скорости

Answer 1

[soremix]

Не может, это просто обмен данными.

Заголовки какие меняли? Может недостаточно новых генерируется или что.
Либо сайту не нравится нагрузка, которая появляется -> включается капча для всех, либо просто более быстрый бан стали делать плохих юзерагентов. Плохая прокси / много запросов с одного агента = в бан и то и другое

Comments

[Hokkel]

Но ведь на другом ПК этот же парсер работает именно в этом промежуток времени

[soremix]

Hokkel, заголовки, отправленные браузером - это максимум, что сайт видит. Если речь шла бы о браузере, там да, могут быть проблемы, но не тут