На какой стороне может быть затык с максимальным количеством tcp соеденений?

Question

[Andrey_Dolg]

Для скрапинга использую aiohttp. Через слой прокси серверов(230) идут соеденения однако при более чем 550 соединениях начинается отвал прокси серверов причём довольно массово иногда сразу всех. На стороне прокси провайдера подключил доступ к более чем 3к соединений, но проблему это не решило. Соединения на прокси раскидываются равномерно так что больше 3-4х на 1 не идёт(пока). Вообщем не могу понять где искать проблему.

Ошибки которые возвращают соединения

Cannot connect to host 45.87.248.222:80 ssl:default [Too many open files]

Comments

[Andrey_Dolg]

Dr. Bacon,

Cannot connect to host 45.153.216.172:80 ssl:default [Too many open files]
Cannot connect to host 45.87.249.66:80 ssl:default [Too many open files]
Cannot connect to host 45.87.248.222:80 ssl:default [Too many open files]
Cannot connect to host 45.136.172.91:80 ssl:default [Too many open files]
Cannot connect to host 45.128.24.10:80 ssl:default [Too many open files]
Cannot connect to host 45.135.36.199:80 ssl:default [Too many open files]
Cannot connect to host 45.87.248.222:80 ssl:default [Too many open files]
Cannot connect to host 138.128.40.171:80 ssl:default [Too many open files]
Cannot connect to host 104.227.27.126:80 ssl:default [Too many open files]
Cannot connect to host 195.158.192.129:80 ssl:default [Too many open files]

Что то и забыл про лог ошибок.

Answer 1

[Дмитрий Шицков]

Судя по ошибке, упираетесь в лимит открытых дескрипторов. Можно вручную поднять через ulimit. Как установить для вашей ОС на постоянку, зависит от вашей ОС

Comments

[Andrey_Dolg]

Спасибо ушел развлекаться.)

[Дмитрий Шицков]

Andrey_Dolg, кажется, вот ответ про Amazon
https://stackoverflow.com/a/11345256

Answer 2

[Vitaly Karasik]

Для скрапинга использую aiohttp

Бежит на одной машине? Линукс?

Comments

[Andrey_Dolg]

Да на одной. Система linux вроде AMI Amazon Linux.

[Vitaly Karasik]

Тогда почти наверняка увеличение лимита открытых файлов поможет.

ulimit -n5000

перед запуском программы поможет.

подробнее https://www.tecmint.com/increase-set-open-file-lim...