@DannYLook
Программист

Как сделать, чтобы сайт во время парсинга не думал, что я бот?

Я делаю парсинг озон, первая ссылка открывается хорошо и парсится, а вторая нет. Пишет что бот. Я делал прокрутку вниз верх влево вправо с определённым количеством времени паузы, также пауза открытия страницы и разная ширина и длина экрана, но не помогло, что можно сделать?
Скрипт на node js библиотека puppeteer, кусок кода как я делаю движение:

setTimeout(() => {
          window.scrollBy(2, -window.innerHeight);
          window.scrollBy(window.innerWidth, 0);
          window.scrollTo(0, document.body.scrollHeight);

        }, 5020);
        setTimeout(() => {
          window.scrollBy(2, window.innerHeight);
          window.scrollBy(-window.innerWidth, 0);
          window.scrollTo(0, document.body.scrollHeight);
        }, 6020);
  • Вопрос задан
  • 129 просмотров
Решения вопроса 2
mayton2019
@mayton2019
Bigdata Engineer
Поскольку алгоритм Озона не документирован - то мы можем только гадать.

Сделай дамп сетевого трафика для случая с браузером и с ботом.
Потом открывай в режиме split screen и сличай глазами. Где-то будет ключевая разница.
Ответ написан
Комментировать
@DannYLook Автор вопроса
Программист
Помогли библиотеки puppeteer-extra, puppeteer-extra-plugin-stealth
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
Steel_Balls
@Steel_Balls
что бы

не как
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы