Почему парсер не может найти даже body на странице?

Question

[historydev]

Здравствуйте. Подскажите пожалуйста, по какой причине может не работать выборка по тегу в моём случае? Чтобы я не выбирал, всегда получаю пустой объект. Если попробовать innerHTML - я получаю вместо пустого объекта html body.

function getPage(url, proxy) {
    const nightmare = Nightmare({
        show: true,
        switches: {
            'proxy-server': proxy[Math.floor(Math.random() * proxy.length)],
            'ignore-certificate-errors': false
        },
    });
    return nightmare
        .authentication('888', '8888')
        .goto(url)
        .evaluate(() => {
            return [document.querySelector('ul')];
        })
        .then(data => console.log(data)) // [ {} ]
}

P.S:

.evaluate(() => {
            return document.body; // {}
        })

Спасибо.

Comments

[Даниил Чистяков]

Возможно защита от ботов? Без ссылки на сайт сложно понять причину.

Answer 1

[Чипекве]

Скорее всего сайт - SPA на каком-нибудь реакте и дом просто не построен на момент обращения.

В документации есть метод .wait() для ожидания появления нужных элементов.

Comments

[historydev]

я пробовал ждать 8-10 секунд, результата нет

[historydev]

.wait(10000)
        .evaluate(() => document.querySelectorAll('.hot-list-container').innerHTML)

null