@Andrey_Dolg

На какой стороне может быть затык с максимальным количеством tcp соеденений?

Для скрапинга использую aiohttp. Через слой прокси серверов(230) идут соеденения однако при более чем 550 соединениях начинается отвал прокси серверов причём довольно массово иногда сразу всех. На стороне прокси провайдера подключил доступ к более чем 3к соединений, но проблему это не решило. Соединения на прокси раскидываются равномерно так что больше 3-4х на 1 не идёт(пока). Вообщем не могу понять где искать проблему.
Ошибки которые возвращают соединения
Cannot connect to host 45.87.248.222:80 ssl:default [Too many open files]
  • Вопрос задан
  • 111 просмотров
Решения вопроса 2
Судя по ошибке, упираетесь в лимит открытых дескрипторов. Можно вручную поднять через ulimit. Как установить для вашей ОС на постоянку, зависит от вашей ОС
Ответ написан
@vitaly_il1
DevOps Consulting
Для скрапинга использую aiohttp

Бежит на одной машине? Линукс?
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы