@XXocTT
Верстальщик

Python requests отправка запросов через прокси при CPU 100%?

Приветствую.
Отправляю одновременно 10 запросов с помощью python request через прокси.
Пока отправлял одновременно 8 запросов, всё было хорошо, мой IP не палили, загрузка CPU при это была примерно 90%.
Как только начал отправлять 10 запросов, загрузка CPU держалась на отметке в 100% и мой IP спалился.
Есть ли вероятность того что при загрузки CPU в 100% происходит какой-то баг и запросы отправляются не через прокси?

Пример отправки запроса:
soup = BeautifulSoup(requests.get(url, proxies=proxies, timeout=10).content, 'lxml')
  • Вопрос задан
  • 178 просмотров
Пригласить эксперта
Ответы на вопрос 2
sergey-gornostaev
@sergey-gornostaev Куратор тега Python
Седой и строгий
Есть вариант, что сервер просто обнаруживает слишком частые запросы.
Ответ написан
@rPman
Не уверен что проблема из-за высокой нагрузки на процессор, кстати чем это вы нагрузили что считанные 8 запросов ложат машину?

Пример как можно спалиться, указываешь http прокси, а сайт тебя перенаправляет на https с помощью location или экзотически на ftp

Там случайно парсер BeautifulSoup запросы xslt не выполняет? какой-нибудь document(url) грузит своими способами?
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы