Python requests отправка запросов через прокси при CPU 100%?

Question

[XXocTT Python]

Приветствую.
Отправляю одновременно 10 запросов с помощью python request через прокси.
Пока отправлял одновременно 8 запросов, всё было хорошо, мой IP не палили, загрузка CPU при это была примерно 90%.
Как только начал отправлять 10 запросов, загрузка CPU держалась на отметке в 100% и мой IP спалился.
Есть ли вероятность того что при загрузки CPU в 100% происходит какой-то баг и запросы отправляются не через прокси?

Пример отправки запроса:

soup = BeautifulSoup(requests.get(url, proxies=proxies, timeout=10).content, 'lxml')

Answer 1

[Сергей Горностаев]

Есть вариант, что сервер просто обнаруживает слишком частые запросы.

Comments

[XXocTT Python]

у каждого запроса свои прокси, всё это дело происходит в цикле где для каждой итерации в переменную proxies присваивается своя индивидуальная прокся

Answer 2

[rPman]

Не уверен что проблема из-за высокой нагрузки на процессор, кстати чем это вы нагрузили что считанные 8 запросов ложат машину?

Пример как можно спалиться, указываешь http прокси, а сайт тебя перенаправляет на https с помощью location или экзотически на ftp

Там случайно парсер BeautifulSoup запросы xslt не выполняет? какой-нибудь document(url) грузит своими способами?

Comments

[XXocTT Python]

Я подозреваю что BeautifulSoup и грузит проц. Потому что он точной обрабатывает весь js на страницах

[rPman]

обрабатывает весь js на страницах

что? он же только статику парсит, никто скрипты не выполняет.

[XXocTT Python]

rPman, да, точно!