Почему проверка прокси стабильнее через потоки чем через асинхронщину?

Question

[Coder 1448]

Тестирую списки проксей. С помощью модулей threading и requests находится в ~5 раз больше валидных прокси, чем через asyncio и aiohttp. Почему так происходит? Таймаут один и тот же. Везде создаётся одна сессия на 1 запрос. Один и тот же список. Проверяю не одновременно двумя методами.

Код aiohttp: https://pastebin.com/dWwgtTW2
Код requests: https://pastebin.com/Xs8QAGgL

Comments

[rPman]

во время проверки асинхронными методами, процессор (то самое единственное ядро) нагружается на 100%?

- если да то возможно просто методы не успевают правильно послать нужный пакет данных и прокси с той стороны закрывает соединение как невалидное?

[Игорь Маркин]

Документация aiohttp на первой странице предупреждает, что создавать сессию под каждый запрос — плохая идея.

[Coder 1448]

Dr. Bacon, aiohttp считает невалидными.

[Coder 1448]

rPman, нет

[Coder 1448]

Игорь Маркин, Что с 1 сессией, что с отдельными, одно и то же. Так написал, потому что имею ввиду, что перепробовал разные варианты (может лимит у сессии и т.п.)

[rPman]

ошибки все отлавливай, хотя бы просто в лог вываливай сам их факт существования без обработки, может поможет

[Coder 1448]

Dr. Bacon, все запросы делаются на http (icanhazip.com) через http прокси. Нигде нет ssl.

[Coder 1448]

Dr. Bacon, добавил

[Coder 1448]

Dr. Bacon, Проанализировав, заметил, что в aiohttp заметно больше проксей отваливаются по таймаутам. Это проблема библиотеки или асинхронщины?

[Денис Ильиных]

Coder 1448, это не баг а фича асинхронщины "by design" , для вашего кейса она не подходит

Answer 1

[Денис Ильиных]

Потому что в асинхронщине вы не можете быть уверены через какой прокси идет очередной запрос. Да он поддерживает прокси но для всех Запросов. В итоге вы посылаете на проверку 10 проксей а по факту проверяется только один, потому и такой большой процент отказов. Для проверки проксей каждый запрос должен быть изолирован.

Comments

[Coder 1448]

Получается простое использование проксей асинхронно не желательно, нужны отдельные потоки/процессы? Допустим у меня асинхронно посылаются 10 запросов с разными проксями к одному сайту, и всё это будет происходить абы как?

[Денис Ильиных]

Coder 1448, надо делать через треды

Answer 2

[Coder 1448]

И вот, спустя полгода, я понял, что в aiohttp стоит ограничение на кол-во одновременных соединений by default. Решение:

from aiohttp import ClientSession, TCPConnector

async with ClientSession(connector=TCPConnector(limit=0)) as session:
    ...