Столкнулся со следующей проблемой
Есть список прокси
скрипт, который рандомно берет прокси из списка и парсит нужный мне урл
Очень часто через прокси я не могу спарсить нужную страничку и выскакивает исключение
Я перехватываю исключение и повторно пашу страницу через другой прокси
Есть 2 проблемы
1)Без прокси все происходит очень быстро, Через прокси все замедляется раз в 20
2)Парситься только 1/3 страниц, остальные почему то нет(хотя я в цикле while выполняю парсинг пока страница не будет успешно скачана)
Правильно ли я вообще делаю мультипроксированный парсинг?Может есть у кого то примеры как надо делать(испоьзую питон, но люой другой язык тоже подойдет)
В интернете обычно простые примеры попадаются,в которых явно не учтены мои проблемы
Здравствуйте, тоже недавно сталкивался с проблемой, что через некоторые прокси не получается получить вообще ничего, даже если на сайте нет защиты. Проблема не только с бесплатными сервисами, но и с платными. Позже наткнулся на ту же проблему на тостере и ответы очень интересные Как правильно реализовать cURL с прокси?
Простой
