ImpAnonym
@ImpAnonym
Lorem ipsum dolor sit amet

Почему возвращается старый HTML при парсинге сайта?

Парсю страницу с качелями, где интересует цена, но почему-то запрос HTTPS.get возвращает старый исходный код HTML. Пробовал выставить заголовки - не помогло.

const HTTPS = require('https');

HTTPS.get('https://www.obi.ru/sadovye-kacheli/sadovye-kacheli-greengard-santorini-bordo/p/4480281', {
  headers: {
    'Content-Type': 'text/html',
    'Cache-Control': 'private, no-cache, no-store, must-revalidate',
    'Expires': '-1',
    'Pragma': 'no-cache',
  },
}, (resp) => {
  resp.on('data', async (chunk) => {
    const OUTPUT_HTML = bufferParse(chunk);
  });
});


В OUTPUT_HTML лежит старый HTML, который до этого уже парсил.

Из HTML извлекаю значение productCost.

UPD:
Сейчас зашёл на сайт и увидел, что там можно выбирать город... Я это не учёл))) Может он думает, что я в каком-то другом городе нахожусь и парсит ту страницу.


Внезапно всё заработало. Почему? Не понятно.
  • Вопрос задан
  • 108 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы