Как ускорить или запустить многопоточно pupeteer?

Question

[Шакир Якубов]

Есть парсер на puppeteer, им нужно спарсить 60 тыс. страниц, по времени одна страница занимает 3,6 секунды, если перевести в часы, то все это добро займёт 61 час. Есть ли вариант ускорить puppeteer или запустить его многопоточно, чтобы не ждать так долго?

Answer 1

[d-sem]

1) Поделить 60000 страниц на порции кратные числу инстансов. Каждому инстансу скармливать свою кучку. Получить ускорение кратное числу инстансов.
2) Положить 60000 страниц в очередь (rabbitmq, redis, db). Скриптами брать url в работу из очереди. Запускать новые воркеры пока хватает ресурсов. https://www.rabbitmq.com/getstarted.html

Также может быть полезно https://habr.com/ru/post/413547/

Comments

[Andrey_Dolg]

За статью спасибо и правда оказалась полезна. )

[Шакир Якубов]

Спасибо большое, помогло!