Как парсить сайт через proxy?

Question

[ablazzing]

Здравствуйте!
Написал парсинг сайта объявлений через Selenium (python), но к сожалению, когда подключаюсь через купленный прокси то выдает: "Мы обнаружили подозрительный трафик, исходящий из вашей сети." Какие есть механизмы обхода данной ситуации? По сути мне нужно будет реализовать парсер с количеством запросов > 5000 в день. Сколько прокси мне понадобиться, и что вообще делать?

Answer 1

[noremorse_ru]

Я проксирую запросы через ТОР, никакого гемороя с покупкой прокси и прочим, спарсил больше 2 млн страниц вообще без отрубов. Чуть позже выложу на гитхаб, сможете взять себе для примера

Answer 2

[Dimonchik]

мобильные прокси
тру прокси
просто другой прокси
например, бесплатные и много

это во вторых

и методы анонимизации во первых

Answer 3

[Сергей Гребенников]

А что VPN не хотите попробовать. Например Windscribe не такой уж тормозной даже в бесплатном варианте (лимит 2 ГБ в месяц). За годовую подписку в 49$ безлимит.