aoberon
@aoberon
Database Developer

Есть ли альтернатива обычным TCP сокетам для мультипоточного парсера?

Задача: максимально быстро собирать информацию о ~100 млн. страниц на разных доменах через метод HEAD.

Сейчас парсер написан на ruby, использует HTTPClient и многопоточность.
Может, есть более быстрые библиотеки для таких задач?
  • Вопрос задан
  • 14868 просмотров
Пригласить эксперта
Ответы на вопрос 2
crackedmind
@crackedmind
web-developer
1) Запустить на jruby/rubinius чтобы получить настоящую многотредовость для распределения потоков по ядрам, а то GIL мешает
2) Запустить несколько процессов
Ответ написан
Комментировать
Fesor
@Fesor
Full-stack developer (Symfony, Angular)
Ну начнем с того что HTTP в качестве транспорта использует TCP (во всяком случае со стороны сервера), так что... нет.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы