Возможно ли сделать скраппинг информации с сайта, на котором требуется авторизация с помощью расширения браузера (chrome)?

Question

[babyaff]

Доброго времени суток, уважаемые программисты.
Есть задача автоматизированно собирать данные с сайта.

Но для вывода этих данных необходим логин на сайт, который происходит посредством вызова окна pop-up браузерного дополнения (chrome). И последующего взаимодействия внутри окна pop-up расширения (нажатие кнопок, возможно ввод пароля).

Нашел информацию про популярные решения для скраппинга и автоматизации - puppeteer, playwright и про их неспособность взаимодействовать с браузерными решениями.

Есть ли какой-то другой способ автоматизировать такой процесс?

p.s.на сайте api нету

Answer 1

[dollar]

Вариант 1) Вскрыть их расширение и инжектнуться в код. Как минимум можно как бы открыть свой API из их расширения для своих расширений и юзерскриптов.

Вариант 2) Рассматривать браузер, как целостное стороннее приложение. Задача сводится к тому, чтобы автоматизировать работу с клавиатурой и мышью. Здесь мы просто уходим от использования JS, как такового, и начинаем анализировать окна на уровне ОС, их элементы, и изображения на них.

Answer 2

[rPman]

Интерфейс расширений браузера это тоже html со своим dom, а значит с ним можно взаимодействовать.

Уязвимые расширения используют не свою отдельную страницу с адресом chrome-extension:// а просто добавляют dom элементы на страницу, с такими тем более просто.

средства автоматизации браузеров позволяют работать в т.ч. с расширениями, например selenium, гуглить extension automation selenium