Чем отличается автоматизирующий браузер скрипт от человека?
Очень понравилось играться с автоматизацией.
Использую только selenium/puppeteer.
Стало интересно, почему, казалось бы, сильно защищенный авито спокойно автоматизируется с помощью selenium, но на некоторые сайты не получается даже зайти! Зачастую это относится к зарубежным интернет-магазинам.
Можете подробно растолковать или показать где можно ознакомиться с полным процессом посещения сайта?
Как распознаются боты, что происходит при входе на сайт, почему некоторые сайты банили скрипт только после нажатия на кнопку "allow all cookies"?
А можно ли настроить puppeteer/selenium так, чтобы они могли хотя бы просто зайти на страницу со 100% гарантией?
И можно ли сделать имитацию не человека, а поискового бота, индексирующего сайт?
Ну внезапно все браузеры честно сообщают о том что они в режиме автоматизации - window.navigator.webdriver. Есть еще миллион признаков распознать селениум. Большая часть из них вроде как решена в undetected chrome
Дмитрий, undetected chromedriver не справляется тоже, хотя результат получше.
Все, что получилось узнать - сайт и пользователя может легко заблокировать, подумав, что бот.
Почему получается спустя какой-то промежуток времени только 1 раз зайти на сайт, а дальше он блокирует?
Пробовал вручную устанавливать куки (полученные в виде обычного юзера) - не помогает.
winodw.navigator и всякие заголовки сравнивал между открытым скриптом браузером и вручную. Все одинаковое, но скрипт работает кое-как. Ротация прокси есть. Что еще может быть?
P.S. Капчи нет, просто банит и выдает, мол, ботов не любим
Простой
Простой
