Коллеги, доброго времени суток, для успокоения души так сказать хочу услышать ваше мнение, на тему как лучше реализовать бота для скраппинга?
Есть по сути 2 варианта, первый это chrome extension, а второй использовать puppeteer (или аналоги). Основные вопросы производительность, масштабируемость, реализация служебных функций (логирование, gif ролики выполнения команды, перезагрузка страниц из открытых в браузере, работа на unix сервере ...) и так далее.
Задачи у ботов простые, бот запущен, подключается по ws к серверу для приема сообщений с командами, открыли страницу, авторизовались, ждать команды от сервера, пришла команда, зашли в раздел, нашли блок кликнули куда нить и вытащили какую-то инфу (не суть важно какую). Если страница долго не отвечает то перезапустить ее или выключить.
Что будет быстрее работать, расширение или nodejs процесс запущенный? Расширение работает в контексте браузера, в котором запущено, насколько я понимаю, значит он медленнее, + прокси! Опять же ws сообщения будут лететь через прокси или будет отдельный канал?
Сайты прожорливые все.
Ну и вообще ваше мнение и обоснование, какое-то)))
Средний