Если знаете Perl, то советую посмотреть в сторону AnyEvent::HTTP либо Mojo::UserAgent
Пример использования AnyEvent::HTTP можно посмотреть в моей статье
Функциональное программирование на Perl в примерах Здесь используется не многопоточность, а неблокирующее программирование с мультиплексированием ввода-вывода (epoll, kqueue, iocp)