Ошибка типа: Cannot read property 'src' of null?

Question

[Bla Bla]

Захожу на сайт используя "puppetter", хочу спарсить первую картинку(url) в ленте но только такая ошибка Cannot read property 'src' of null. Как я понял из названия ошибки src пустой но я делал скрин и там картинка прогрузилась. Код:

export async function scrapeUrl () {
    const browser = await puppeteer.launch({
        headless: false,
        devtools: false,
        // args: ["--start-maximized"]
    });
    let page =  await browser.newPage();
    const pageURL = 'https://9gag.com/funny/fresh';

    try {
        await page.goto(pageURL, { waitUntil: 'domcontentloaded' });

    } catch (error) {
        console.log(`I can't open: ${pageURL} due to this mistake: ${error}`);
    }
    await page.waitFor(2000);
    await page.screenshot({path: 'buddy-screenshot.png'});
    const url = await page.$("div.post-container picture img");

    browser.close();

    return url.src;
};

А ну и еще при headless: true вилазит капча по скрину, кто что предпринимает?

Comments

[Bla Bla]

Я поменял строку с
const url = await page.$("div.post-container picture img"); на
const url = await page.$("div.post-container picture img")[0];
и ошибка стала TypeError: Cannot read property 'src' of undefined и еще есть Error: Protocol error (Runtime.callFunctionOn): Target closed
Лооооооооол. И да может буть что Target closed была также.

Answer 1

[Роман]

вот эта строка

const url = await page.$("div.post-container picture img");

не находит элемента, удовлетворяющего div.post-container picture img
и возвращает значение null. В результате url = null

Comments

[Bla Bla]

спасибо но я єто понял, мне интересно как мне исправить ведь на скриншоте видно что загрузка изображения произошла.

[Роман]

SubUser, вы про маленький кусочек изображения внизу принтскрина?

[Роман]

SubUser, если да, то там может быть много чего, например

div.post-container div div.post-view video

<div class="post-container"><div><a href="/gag/aP7bePV" data-track="post,p,,,d,aP7bePV,p" class="badge-track" target="_blank" style="min-height: 280px;"><div class="post-view video-post"><video preload="auto" poster="https://img-9gag-fun.9cache.com/photo/aP7bePV_460s.jpg" style="min-height: 280px; width: 500px;" loop="" width="500"><!----><!----><!----><source src="https://img-9gag-fun.9cache.com/photo/aP7bePV_460sv.mp4" type="video/mp4"><!----></video><div class="sound-toggle off"></div><!----><div class="hide"><span class="play">Play</span></div></div></a></div><div class="post-text-container"></div></div>

или

div.post-container a picture img

<div class="post-container"><a data-evt="PostList,TapPost,Funny-Fresh,,PostImage" data-entry-id="aeD8xOW" data-position="2" href="/gag/aeD8xOW" class="badge-evt badge-track" style="min-height: 456.522px;" target="_blank"><picture><source srcset="https://img-9gag-fun.9cache.com/photo/aeD8xOW_460swp.webp" type="image/webp"><img src="https://img-9gag-fun.9cache.com/photo/aeD8xOW_460s.jpg" alt="What the hell is wrong with her" style="min-height: 456.522px;" loading="lazy"></picture></a><!----></div>

или

div.post-container a div div.post-view video

<div class="post-container"><div><a href="/gag/a5W0z6N" data-track="post,p,,,d,a5W0z6N,p" class="badge-track" target="_blank" style="min-height: 280.435px;"><div class="post-view video-post"><video preload="auto" poster="https://img-9gag-fun.9cache.com/photo/a5W0z6N_460s.jpg" style="min-height: 280.435px; width: 500px;" loop="" width="500"><!----><!----><source src="https://img-9gag-fun.9cache.com/photo/a5W0z6N_460svvp9.webm" type="video/webm; codecs=&quot;vp9, opus&quot;"><source src="https://img-9gag-fun.9cache.com/photo/a5W0z6N_460sv.mp4" type="video/mp4"><!----></video><div class="sound-toggle off"></div><!----><div class="hide"><span class="play">Play</span></div></div></a></div><div class="post-text-container"></div></div>

При этом элементов удовлетворяющих поиску может быть несколько

Проверял через document.querySelector(...) и document.querySelectorAll(...)
мои варианты работают а ваши нет)

[Bla Bla]

Спасибо, я хотел переправить но так как оно работало в компиляторе браузера думал дело в другому. Я от начала до конца html кода глянул, зделав долгий селектор чтобы ничего не упустить и работает.