@Shakirchinskiy

Как ускорить или запустить многопоточно pupeteer?

Есть парсер на puppeteer, им нужно спарсить 60 тыс. страниц, по времени одна страница занимает 3,6 секунды, если перевести в часы, то все это добро займёт 61 час. Есть ли вариант ускорить puppeteer или запустить его многопоточно, чтобы не ждать так долго?
  • Вопрос задан
  • 312 просмотров
Решения вопроса 1
@d-sem
1) Поделить 60000 страниц на порции кратные числу инстансов. Каждому инстансу скармливать свою кучку. Получить ускорение кратное числу инстансов.
2) Положить 60000 страниц в очередь (rabbitmq, redis, db). Скриптами брать url в работу из очереди. Запускать новые воркеры пока хватает ресурсов. https://www.rabbitmq.com/getstarted.html

Также может быть полезно https://habr.com/ru/post/413547/
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы