@Elchinchel

Каким способом лучше запустить множество процессов с длинными http запросами?

Мне необходимо получать информацию через VK LongPoll одновременно с множества аккаунтов (около 90). У меня есть функция, которая посылает запросы и обрабатывает их, но для одного пользователя. Сначала все казалось очевидно - запустить для каждого пользователя функцию в отдельном потоке с помощью threading. Потом я узнал про GIL и появились сомнения, не будет ли такое количество потоков работать слишком медленно. Сделать тоже самое через multiprocessing, наверное, еще хуже в плане производительности. Может я зря переживаю и потоки, которые большую часть времени находятся в ожидании ответа от сервера, не будут "тормозить"? Или стоит переписать функцию с использованием aiohttp? (правда, боюсь, это для меня будет слишком сложно) Как лучше поступить, если я запускаю скрипт на сервере с небольшим количеством ядер процессора (2-4)?
  • Вопрос задан
  • 79 просмотров
Решения вопроса 1
opium
@opium
Просто люблю качественно работать
У меня в ВК на лонгполе Около 300 аков и ничего даже чихать не начинает, думаю до десятков тысяч будет все работать без проблем
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
@Elchinchel Автор вопроса
Вообще я немного не так задал вопрос, извиняюсь, меня интересовала не скорость работы, а ресурсопотребление.
В общем, в итоге написал LP на Golang, а запросы по-прежнему обрабатываю с помощью Python (обрабатываются не все события), стало гораздо лучше
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы