Как на js перехватить ответ XMLHttpRequest запроса на странице?

Question

[Vit]

Нужно спарсить данные со страницы, которая делает XMLHttpRequest запросы для получения json массива. Как на javascript перехватить ответ с данными?
Парсинг делаю headless браузером и могу вставлять js-скрипты в страницу.

Comments

[ThunderCat]

не проще сделать запрос самому?

[Василий Банников]

Через что рулишь браузером? Вроде в том же playwright есть механизм для перехвата запросов/ответов.

[Vit]

ThunderCat, там защита от парсинга, поэтому запускаю headless браузер, что бы он сам эти ajax запросы выполнял. Если я сам шлю запросы cURL, то мне ничего не отвечает сервер )) Не все так просто.

[Vit]

Василий Банников, chrome-php использую.

[ThunderCat]

Vit, чет подозреваю что все не так сложно, просто надо заголовки нужные послать, что делается в 2 клика, открыл нетворк, кликнул запрос, посмотрел заголовки.

[Vit]

ThunderCat, Хотите попробовать? https://appgallery.huawei.com/Categories
Первая проверка по verificationCode, это просто. Дальше передавая verificationCode, сервер отдает json с пустыми данными. Естественно все параметры аналогично тому как в браузере передаются.

[Vit]

ThunderCat, Ну как получилось в 2 клика? )) Мой код уже парсит.

[ThunderCat]

Vit,

Ну как получилось в 2 клика?

Нет, и я даже не пробовал. Опыт в создании парсеров позволяет мне заявлять вещи, которые не требуют проверки на конкретном примере.

Мой код уже парсит.

поздравляю, хотя не понимаю почему вы решили поделиться этой радостью со мной...

[Vit]

ThunderCat,

Нет, и я даже не пробовал.

Спасибо, тогда комментарии можно было и не оставлять про то как тут всё просто и в 2 клика.

почему вы решили поделиться этой радостью со мной

А это уже не вам адресовано. Благодарен людям, которые помогли. Хорошего дня

[ThunderCat]

Vit,

Спасибо, тогда комментарии можно было и не оставлять про то как тут всё просто и в 2 клика.

Пожалуйста, но вы же не пробовали, правда?

просто надо заголовки нужные послать, что делается в 2 клика, открыл нетворк, кликнул запрос, посмотрел заголовки.

Написал в комменты так как такие действия достаточно просты и рутинны для ответа, но задачу свою решают.

Справились сами - молодец, даже не смотря на то что задача может быть решена в разы проще.

[Vit]

ThunderCat,

но вы же не пробовали, правда?

Что значит не пробовал, с этого и начинал, полная копия передаваемых параметров, заголовков.

такие действия достаточно просты и рутинны для ответа, но задачу свою решают

В этом и цимес, что не решают. Добавлена защита от парсинга, а это уже решается выполнением js-кода и всех проверок.

Answer 1

[zkrvndm]

Технология которая может тебе помочь, называется манкипатчингом. Вкратце, это замена функции оригинала, своей собственной функцией оберткой. Ну а более подробнее же... воспользуйся поиском:
https://yandex.ru/search/?text=XMLHttpRequest+пере...

P. S. Вспомнил, что я уже отвечал на такой вопрос: Как получить ответы на запросы сторонних скриптов в js?

Comments

[Vit]

Спасибо, иду изучать )

[Vit]

Вот рабочий код:

(function() {
    var open = XMLHttpRequest.prototype.open;
    XMLHttpRequest.prototype.open = function(method, url, async, user, password) {
        if (async) {
            this.onreadystatechange = function() {
                if (this.readyState == 4) {
                   // this.responseText - результат
                }
            }
        }
        return open.apply(this, arguments);
    }
})();