Какой лучше ЯП для асинхронных POST/GET запросов?

Question

[Андрей Раковский]

Привет, стоит задача получить ответ от <2000 урлов за период до 10 минут.
Урлы будут разбиты по пачкам от 5 до 200 штук.
Страницы которые необходимо получить в среднем весят 3-5 кб, содержат json, время ответа 2-3 секунды.

Обработчик содержимого написан на PHP. Планирую заюзать для выполнения асинхронных запросов другой ЯП, а в качестве передачи ответов в PHP обработчик использовать GEARMAN или что-то подобное. (суть не в этом)

Вопрос: какой лучше всего использовать для этого ЯП, который будет менее затратно по ресурсам выполнять такое количество асинхронных запросов?

P.s возможно есть для такой задачи SaaS сервисы?

Answer 1

[Александр Таратин]

Планирую заюзать для выполнения асинхронных запросов другой ЯП

Но зачем??
https://github.com/chuyskywalker/rolling-curl

Comments

[Андрей Раковский]

CPU подскакивает до 70% при выполнении 200 запросов

[Андрей Раковский]

Протестил, всё устраивает. Большое спасибо.

200 ссылок с параметром setSimultaneousLimit(10) выполняется за 5.7 сек. и 10% нагрузкой на CPU. В данном случае меня это устраивает.

Answer 2

[beduin01]

vibed.org

Или просто либа для работы с http

Comments

[Андрей Раковский]

Можете в кратце объяснить что это такое?

[beduin01]

Андрей Раковский: высокопроизводительный ассинхронный http сервер на D. Будет быстрее PHP и NodeJS. На выходе дает кроссплатформенный бинарик.

Answer 3

[Rou1997]

Пожалуй чистый Си.

P.s возможно есть для такой задачи SaaS сервисы?

Не знаю, но сервисов VPS/VDS очень много, может это и дороже чем сервис сугубо для запросов, но зато универсальнее, можно там еще что-нибудь делать.