Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Андрей
@aoberon
Database Developer
Сетевое администрирование
Ruby
Crawling
Есть ли альтернатива обычным TCP сокетам для мультипоточного парсера?
Задача: максимально быстро собирать информацию о ~100 млн. страниц на разных доменах через метод HEAD.
Сейчас парсер написан на ruby, использует HTTPClient и многопоточность.
Может, есть более быстрые библиотеки для таких задач?
Вопрос задан
более трёх лет назад
14873 просмотра
Комментировать
Подписаться
4
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
2
Станислав
@crackedmind
web-developer
1) Запустить на jruby/rubinius чтобы получить настоящую многотредовость для распределения потоков по ядрам, а то GIL мешает
2) Запустить несколько процессов
Ответ написан
более трёх лет назад
Комментировать
Нравится
2
Комментировать
Facebook
Вконтакте
Twitter
Сергей Протько
@Fesor
Full-stack developer (Symfony, Angular)
Ну начнем с того что HTTP в качестве транспорта использует TCP (во всяком случае со стороны сервера), так что... нет.
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Компьютерные сети
+3 ещё
Средний
Как присвоить Vlan для клиента Wifi Aruba?
1 подписчик
вчера
89 просмотров
0
ответов
Сетевое администрирование
Средний
Как запретить доступ к веб-интерфейсу роутера по порту 80 через WAN?
2 подписчика
30 июн.
778 просмотров
0
ответов
Сетевое администрирование
+1 ещё
Простой
Какая утилита существует для постоения графика исходящего трафика?
2 подписчика
23 июн.
2035 просмотров
4
ответа
Компьютерные сети
+4 ещё
Простой
Почему на роутере mikrotik hap ac2 wifi на частоте 5 ггц выдает низкую скорость?
2 подписчика
23 июн.
5614 просмотров
6
ответов
Сетевое администрирование
+4 ещё
Средний
Создание принтера черз Объект групповой политики?
2 подписчика
20 июн.
198 просмотров
1
ответ
Компьютерные сети
+3 ещё
Простой
Как правильно настроить Mikrotik по DHCP от провайдера?
2 подписчика
18 июн.
2585 просмотров
4
ответа
Компьютерные сети
+1 ещё
Простой
Не регистрирует урон в Apex Legends, что можно сделать?
1 подписчик
15 июн.
879 просмотров
1
ответ
Компьютерные сети
+2 ещё
Средний
Почему низкая скорость отдачи в режиме bridge?
2 подписчика
15 июн.
1979 просмотров
2
ответа
Компьютерные сети
+3 ещё
Простой
Широковещательный трафик и подсети, зачем нужен VLAN?
4 подписчика
13 июн.
5463 просмотра
9
ответов
Компьютерные сети
+2 ещё
Средний
Как блокировать программе доступ в интернет в зависимости от моего IP?
1 подписчик
11 июн.
285 просмотров
4
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Системный инженер с базовыми навыками DevOps
Эмитех
•
Санкт-Петербург
от 190 000 ₽
Программист 1С
КАПИТАЛ LIFE
•
Москва
До 260 000 ₽
Системный администратор
RegStaer
•
Новосибирск
от 83 500 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама