Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Андрей
@aoberon
Database Developer
Сетевое администрирование
Ruby
Crawling
Есть ли альтернатива обычным TCP сокетам для мультипоточного парсера?
Задача: максимально быстро собирать информацию о ~100 млн. страниц на разных доменах через метод HEAD.
Сейчас парсер написан на ruby, использует HTTPClient и многопоточность.
Может, есть более быстрые библиотеки для таких задач?
Вопрос задан
более трёх лет назад
14873 просмотра
Комментировать
Подписаться
4
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
2
Станислав
@crackedmind
web-developer
1) Запустить на jruby/rubinius чтобы получить настоящую многотредовость для распределения потоков по ядрам, а то GIL мешает
2) Запустить несколько процессов
Ответ написан
более трёх лет назад
Комментировать
Нравится
2
Комментировать
Facebook
Вконтакте
Twitter
Сергей Протько
@Fesor
Full-stack developer (Symfony, Angular)
Ну начнем с того что HTTP в качестве транспорта использует TCP (во всяком случае со стороны сервера), так что... нет.
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Компьютерные сети
+2 ещё
Средний
Как переехать с малого офиса в большой в плане построения сети?
1 подписчик
7 часов назад
121 просмотр
4
ответа
Компьютерные сети
+3 ещё
Простой
OpenWRT на Xiaomi AX3200 (режим AP): проводное соединение не восстанавливается после сбоя питания. что делать?
1 подписчик
8 часов назад
61 просмотр
0
ответов
Сетевое администрирование
+2 ещё
Простой
Определить стандартный пароль от API IP камер dahua DH-IPC-HFW2449SP-S-IL-0280B?
1 подписчик
вчера
118 просмотров
1
ответ
Сетевое администрирование
+2 ещё
Средний
Как отправлять определённые url через vless(VM/OPNsense)?
1 подписчик
21 июл.
167 просмотров
1
ответ
Компьютерные сети
+3 ещё
Простой
Как в WINDOWS правильно завернуть ip4 траф во вложенный туннель wg?
1 подписчик
20 июл.
256 просмотров
1
ответ
Сетевое администрирование
+2 ещё
Средний
Почему преобразователи USB-232 отваливаются в Виртуалбокс под Линуксом?
3 подписчика
15 июл.
235 просмотров
1
ответ
Компьютерные сети
+1 ещё
Средний
Что определяет выбор адреса сайта из всех, возвращённых DNS-сервером?
4 подписчика
09 июл.
4313 просмотров
3
ответа
Сетевое администрирование
+2 ещё
Средний
Как заблокировать некоторые сайты при подключении через VPN?
4 подписчика
05 июл.
4369 просмотров
4
ответа
Компьютерные сети
+3 ещё
Средний
Как настроить MSTP между D-link и Cisco?
4 подписчика
03 июл.
1454 просмотра
1
ответ
Компьютерные сети
+3 ещё
Средний
Как присвоить Vlan для клиента Wifi Aruba?
1 подписчик
01 июл.
149 просмотров
0
ответов
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Инженер ОС Linux L3
ИТ-Холдинг Т1
•
Екатеринбург
Системный администратор
BSS
•
Москва
Ведущий системный администратор
Marfatech
•
Москва
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама