Почему падает производительность скрипта?

Question

[chemiron]

Здравствуйте.
С помощью скрипта на python (с использование asyncio и aiohttp) выполняю парсинг сайтов для сбора статистики. После запуска парсинга, примерно 1к-1,5к сайтов парсятся очень быстро, а далее начинаются тормоза. Причем ресурсы сервера почти не используются, сеть также не загружена. Тормозит метод loop.create_connection. Если паралельно с парсингом загружать какой-либо сайт, он тоже тупит. Предполагаю, что проблема с ОС (debian 7.8) но уже не знаю, в каком направлении копать.

Comments

[sim3x]

а точно нигде гил не цепанули?

[chemiron]

Точно не мог. Скрипт асинхронный, проблемы могут возникнуть на блокирующих основной поток вызовах, но таких точно нет, все внимательно перепроверял. Да и гилу то развернуться особо негде, сплошной io, проц почти не нагружен, из блокирующих операций только резолв ДНС внутри asyncio вызывается в ThreadPool'е с большим количеством потоков. (максимум - потери на переключении между потоками, но думаю они ничтожны по сравнению с тормозами на загрузку сайта)

Answer 1

[Владимир]

возможно заканчиваются буфера или еще чтонибуть - надо смотреть dmesg

еще попробуйте добавить в /etc/sysctl.conf
net.core.wmem_default = 2097152
net.core.wmem_max = 16777216
net.core.rmem_max = 16777216
net.ipv4.tcp_mem = 8388608 8388608 8388608
net.core.somaxconn = 16384
net.core.netdev_max_backlog = 250000
net.ipv4.tcp_max_syn_backlog = 65536
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_tw_buckets = 1440000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_abort_on_overflow = 1
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_keepalive_time = 1800
net.ipv4.tcp_keepalive_probes = 5
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.netfilter.ip_conntrack_max = 262144
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0

потом
# sysctl -p

для отката изменений - убрать параметры из /etc/sysctl.conf
и перезагрузится.

Answer 2

[Дмитрий Авилов]

Вы, судя по всему, на своей машине запускаете, может быть вас провайдер ограничивает, видя такое количество соединений? Попробуйте тот же скрипт завести на сервере/vps.

Comments

[chemiron]

Попробовал на сервере. Первые 2к запросов проходят очень быстро, дальше все как и на своей машине.