Есть ли альтернатива обычным TCP сокетам для мультипоточного парсера?

Question

[Андрей]

Задача: максимально быстро собирать информацию о ~100 млн. страниц на разных доменах через метод HEAD.

Сейчас парсер написан на ruby, использует HTTPClient и многопоточность.
Может, есть более быстрые библиотеки для таких задач?

Answer 1

[Станислав]

1) Запустить на jruby/rubinius чтобы получить настоящую многотредовость для распределения потоков по ядрам, а то GIL мешает
2) Запустить несколько процессов

Answer 2

[Сергей Протько]

Ну начнем с того что HTTP в качестве транспорта использует TCP (во всяком случае со стороны сервера), так что... нет.