Всем привет.
Есть такая штука как
puppeteer-cluster - библиотека которая, грубо изъясняясь, привносит многопоточность Puppeteer'у.
Есть так же небольшой сайтец с бд, куда кластер отстукивает о каждом успешном выполнении сценария и оттуда же берет задачи.
Моя цель - масштабировать это все дело, но я не понимаю как именно сделать это эффективнее с точки зрения хрома.
Какой впс арендовать? сколь я могу судить, на 6 vCPU и 12 гб RAM ситуация такова:
1) 8 concurrency потоков в кластере жрут ресурсы как то так:
Всплески это активная работа, т.е. получена задача на выполнение, в общем с графиками проблем нет
т.е. жрет в основном проц, и совсем чуть чуть оперативки? э? оперативка мне значит не нужна особо, а процы - да?
(доп.вопрос, а давно ли хром перестал жрать оперативки тонны и перешел на цпу?)
2) как лучше делать - 10 серверов по 8 vcpu, или один сервер на 80 vcpu и на нём 8 экземпляров puppeteer-cluster? Или вопрос бессмысленнен в своей сути?
3) как оценить, сколько concurrency максимум можно поставить без вреда скорости и эффективности исполнения? только замерами до какого количества упрусь в vcpu?
Сейчас стоит 8, на графике как будто проца лишь половина жрется, но вот если поставить 10 то есть ощущение что общая скорость выполнения задачи упала. Из за невозможности визуально видеть лагает/не лагает - нахожусь в замешательстве
Обобщая, если есть человек кто имел опыт масштабирования каких-либо chrome-headless кластеров, вопрос ему таков - как это правильнее сделать и какие ресурсы с точки зрения vps для этого нужны?
Простой
