Существует ли какой то аналог селениума для выполнения html с js и способный выполнить клик на странице?
Дело в том что на сайте много уровней защиты от парсинга, один из которых - это загрузка части контента по клику.
Отловить сам клик или найти путь не возможно, каждый раз генерируется с нуля. Обработчик я так понимаю на js, как его отловить не понятно.
В результате все парсю bs4, а селениум нужен ради одного клика. Страниц более 5-10К, поэтому выполнение может занять пару суток. Использовать selenium grid и аналоги желания нет.
Попробуйте с помощью Selenium Wire клик отловить.
Selenium Wire расширяет привязки Selenium к Python, чтобы дать вам доступ к базовым запросам, выполняемым браузером. Вы создаете свой код так же, как и в Selenium, но получаете дополнительные API для проверки запросов и ответов и внесения в них изменений на лету.
Или с Mitmproxy.
Простой
