Какие есть легковесные веб-скрапперы имитирующие действия пользователя и выполняющие js?

Question

[Макс]

Здравствуйте!

Есть задача запускать как можно больше сессий за короткое время и на определенное время - 5-10мин, авторизироваться и выполнять определенные действия (нажимать кнопки, заполнять формы, собирать инфу).

До этого использовал puppeteer (в т.ч. headless), но получалось без проблем асинхронно запускать только около 10 окон хрома, дальше программа начинала лагать. Пробовал разбивать на процессы и потоки, результат не на много лучше и вместо проги начинал лагать компьютер.

В идеале запускать 30-200 сессий, есть ли какие-либо решения для подобной задачи? Не обязательно на nodejs.

Answer 1

[Владимир Коротенко]

Есть apache jmeter
большой вопрос что вам нужно по интерактиву.
Если знаете Java то можете вообще свой модуль написать

Answer 2

[Flying]

Использую связку puppeteer и pm2. Scraper запускается в несколько instances, контролируемых pm2, каждый из них использует свой puppeteer. Scraper прогоняет N циклов и корректно выходит, закрывая браузер, но pm2 настроен на автоматический перезапуск - это позволяет избежать выедания всей памяти. Всё это крутится на пачке самых дешёвых vps по 1-2 евро в месяц за штуку, такого обычно хватает на 3-4 instance'а (из-за прожорливости Chromium).

В зависимости от специфики цели параметры могут варьироваться, в частности можно неплохо сэкономить если можно не запускать Chromium, а сделать всё средствами самой node.js, но тут надо знать специфику вашей задачи.

Comments

[Макс]

Всё это крутится на пачке самых дешёвых vps

А vps как-то связаны между собой? Имею ввиду можно как-то управлять ими из одного места?

[Flying]

Макс, да, управляются центральным брокером задач, туда же сливают результаты на обработку

[Макс]

Flying, а можно подробнее как это сделать? статьи или технологии?

[Flying]

Макс, Я управляющий код писал на Symfony, задачи на scraping и обработку - через очереди в RabbitMQ, сама обработка - через консольные приложения с простым менеджментом процессов. Хранилище в моём случае - в Elasticsearch из-за требований по построению отчётов, но вообще это не принципиально.

Статей не подскажу т.к. всё сам писал, но работает

[Flying]

Вот здесь я давал пример кода для организации управления несколькими потоками обработки в Symfony, вдруг будет полезно.

Answer 3

[Mikhail Osher]

Observations running 2 million headless sessions

Comments

[Evgen]

Перевод даже есть :) https://habr.com/ru/post/413547/

[Макс]

Не совсем подходит, т.к. мне нужно запускать максимальное количество сессий за раз, без очередей, и каждая сессия должна работать, а там 2кк сессий последовательно пачками были запущены. И кстати, после того как убрал из кода page.evaluate стало работать немного быстрее.

Answer 4

[Александр Таратин]

zombie.js.org