Pypperteer бесконечно загружает страницу с динамическим содержимым. Как решить проблему?

Question

[reuxnc]

Python 3.9
Chrome 104

Делаю автоматизированную регистрацию на сайте.
1. Подключаюсь через selenium к работающему chrome, запущенному через octo browser(антидетект)
2. Дохожу до последней стадии реги, на которой нужно заблокировать несколько реквестов. (Страница регистрации новой кампании google ads)
3. На последнем этапе подключаю pypperteer для intercepting запросов, обновляю страницу методом page.reload() и наблюдаю бесконечную загрузку. Часть запросов проходит и на этом останавливается.

Грузится бесконечно, но как только я завершаю работу программы, страница моментально прогружается.

Вот мой код pypperteer:

async def intercept_network_request(request: Request):
    print(request.url)
    await request.continue_()


async def skip_verif(endpoint):
    browser = await pyppeteer.connect(browserWSEndpoint=endpoint,
                                      defaultViewport=None)
    pages = await browser.pages()
    page = pages[0]

    await page.setRequestInterception(value=True)
    page.on('request', f=lambda req: asyncio.ensure_future(intercept_network_request(req)))
    await page.reload()
    input()

Так я вызываю эту функцию из основного кода:

loop = asyncio.new_event_loop()
asyncio.set_event_loop(loop)
loop.run_until_complete(skip_verif(endpoint))

Comments

[Алан Гибизов]

Тут принято писать без лишней лирики. Здрасти/досвиданья не надо. См.п.3.4 Регламента.

[reuxnc]

Алан Гибизов, если ваша задача удалять приветствие из вопроса, то судя по текстам других вопросов, человекочасов у вас на это занятие не хватит. :)

[Модератор]

reuxnc, мы будем стремиться к совершенству. А тех, кто будет в этом нам мешать, будем жестоко наказывать! :)

Answer 1

[MartinKlow]

работа intercepting зависит от браузера, попробуй orbita (gologin) и этот код

import asyncio
import pyppeteer
from gologin import GoLogin

async def intercept_network_request(req):
    print(req.url)
    await req.continue_()
    


async def main():
    gl = GoLogin({
        "token": "yU0token",
        "profile_id": "yU0Pr0f1leiD",
        })

    debugger_address = gl.start()
    browser = await pyppeteer.connect(browserURL="http://"+debugger_address)
    page = await browser.newPage()
    await page.goto('https://www.google.com/search?q=sun+flower&rlz=1C1CHBF_enIN963IN963&source=lnms&tbm=isch&sa=X&sqi=2&ved=2ahUKEwjboKfMkoj0AhURppUCHS9hAuMQ_AUoAXoECAIQAw&biw=1920&bih=486&dpr=1')
    await page.setRequestInterception(True)
    new_resutls = page.on('request', 
        lambda req: asyncio.ensure_future(intercept_network_request(req)))
    await page.reload()


asyncio.get_event_loop().run_until_complete(main())