Как делать больше GET запросов в секунду?

Question

[PavelPPa]

Постоянно упираюсь где-то в 30-40 запросов в секунду. Мне нужно получать titles, description со страниц. Асинхронность пробовал, по самому разному, результат почти всегда один и тот же. От чего зависит кол-во запросов? Если от интернета, то какая скорость должна быть хотя бы для 100 запросов?

Comments

[rPman]

в третьей строчке пятого файла нужно заменить переменную a на вызов .get(a)
(сарказм)

[Everything_is_bad]

садись и дебаж, чтобы понять где у тебя узкое место

[Сергей Горностаев]

От чего зависит кол-во запросов?

От всего. Например сервер, к которому вы делаете запросы, может лимитировать количество запросов от одного клиента. Или может он в принципе не способен вывозить больше 30-40 запросов.

[shurshur]

Ну например запрос выполняется за 50 мс, тогда как ни крути, но в один поток больше 20 запросов не сделаешь.

Начинаем параллелить (тредами или asyncio), и тоже не можем бесконечно наращивать. Например, пусть, утрировано, эти 50 мс это чисто процессорный ресурс (на деле так не будет, это чисто иллюстрация), а у сервера 8 процессорных ядер. Тогда больше чем 160 запросов в секунду не выжать.

Собственно, если начать смотреть среднее время ответа, то можно даже примерно определить, в какой момент оно начинает расти, а общее число запросов за единицу времени расти перестаёт. Вот и нащупано узкое горлышко.

Ещё могут быть ограничения на число воркеров или длину очереди в web-сервере или в конечно приложении, размеры буферов итд итп. Варианты с ограничениями на конечного клиента тоже могут быть.

Короче, вполне может быть, что 30-40 - это вот реальный максимум.

Answer 1

[Евгений Механиков]

Либо сам сайт медленный который парсите, либо Ваш интернет канал узкий, посмотрите загрузку процессора и сети на Вашей стороне, но упирается ли в лимит, еще как вариант, может Ваши запросы попадают под рейт лимит на сервере.
Можно попробовать еще другой сайт подергать в GET чтоб сравнить скорость
А еще можно поискать в интернет сервисы которые могут слать GET запросы и показывать скорость ответа и сравнить с Вашей, тогда будет понятно на какой стороне затык

Comments

[Everything_is_bad]

а вариант что код кривой даже не рассматривается?))