Как на сервере запустить +100 headless браузеров и в них несколько вкладок?

Question

[Роман Андреевич]

Коллеги, доброго времени суток. Хотел поинтересоваться мнением, может кто делал подобные вещи.

Итак, пишу проект (боты), суть их проста, заходят на сайты и что то делают. Проблема первая их много 500+, так надо)) текущая реализация - виртуалки в каждой запущен браузер, сам бот в виде расширения, по сути выполняет задачи. Работает это все дело через multilogin, то же не претензий. Если кто знает что такое multilogin супер))

Встал у меня вопрос отойти от виртуалок и запустить один multilogin и в нем несколько профилей (браузеров или браузерных профилей). Как и ожидалось вся эта ботва сожрала всю память. Запускаю профиль (браузер) и в нем несколько вкладок 2 или 4 для примера. Память растет не сильно но растет. Перезапускаю браузер конечно, но это дело не очень помогает. Лишь на время.

Есть у кого-нибудь мысли как можно организовать 100+ ботов на одном сервере через headless браузеры и multilogin может в частности? Как контролировать расход памяти?

Буду благодарен за совет.

Answer 1

[Виталий]

имхо берешь систему очередей, и воркеры, подбираешь комфортное состояние числа воркеров / числа страниц и управляешь своей кликоблудией, чувствуешь проседаешь по ресурсам, добавляешь нового рабочего на эту или соседнюю машинку, и так пока денег на ресурсы хватает....

Answer 2

[mayton2019]

Если эти headless браузеры - прожорливые то надо отказаться от них там где можно. Переписать часть ботов на Python к примеру. Возможен вариант что проблему создают конкретные сайты которые Толи майнят на твоём боте Толи прогружают ненужный контент. Нужен мониторинг памяти по каждой сессии.

Comments

[Роман Андреевич]

Вы правы, сайты на которых боты сидят жрут всю память, выполняется бесконечная загрузка скриптов, анализировал трафик, на момент когда я пишу этот комментарий, уже есть полная картина. На Python не пишу пишу на nodejs и Puppeteer + multilogin. Возможный вопрос был как ограничить все это дело в потреблении памяти, но решилось банальной перезагрузкой раз в 60 минут. Помогает, высвобождает память и так далее, потом опять старт и работает. Только так пока что, но все равно спасибо