Как сайт может отследить/определить что используется Selenium?

Question

[MinTnt]

Недавно столкнулся с такой ситуацией, что вот к примеру есть сайт. Для пробы, перед началом решил в web версии, при помощи расширения, сделать "запись" действий (сайт - По информации о предмете залога - все галочки - Найти). После запуска, всё проигрывается хорошо.

Но если к примеру, использовать фреймворк Selenium при написании скрипта, то при
driver.get('https://www.site.com')
..сайт как-то фиксирует что браузер запущен через скрипт. И при попытке получить нужные данные, будет писать по типу ('С вашего IP подозрительная активность')

Вот и стало интереса, благодаря чему сайт определяет что используется скрипт?

Answer 1

[Сергей Горностаев]

Способов множество, в большинстве своём они держаться в тайне и постоянно дорабатываются. Я видел системы, подобные искусственному интеллекту, которые ищут закономерности в действиях клиента с сайтом, и достаточно точно отличающие людей от роботов. Конечно, такие системы применяются не везде, так как они дороги, но и без них робота заметить не сильно сложно.

Comments

[MinTnt]

Толком, изначально хотел через обычные requests, так как нужный скрипт что подгружает информацию нашёлся быстро.
Но... для получения информации используется 1 разовый токен, который генерируется пока вы находитесь на сайте.
Пока что я понял где брать изначальный запрос, а так же куда он переходит, толком кажется нужно сделать цепочку, где из одного скрипта получаешь данные и переводишь в другой. Но при этом не известно, как эти данные ещё перекручиваются пока находятся на сайте.

Так что пока наверное всё же Selenium

[MinTnt]

О, моя благодарность. Я немного изменил данные, и сразу всё как надо начало работать. Ещё раз благодарю)

Answer 2

[soremix]

Много разных вариантов, на сайте стоит рекапча, она прекрасно умеет анализировать действия на странице.
Автоматизацию довольно таки быстро можно распознать по банальным признакам - мышкой по сайту никто не водит, селекторы, ссылки и тд кликаются не человеком, ввод текста тоже довольно так быстро распознается, ведь есть разница между печатью нормального человека и автовставкой/сверхбыстрой печати от программы.

Comments

[MinTnt]

Вообще, я кстати, раз специально попробовал запустить лишь сайт через скрипт, т.е. открыть главное меню. А далее все остальное выполнял сам, вводил символы и тд., но всё равно говорило про подозрительность

На recaptcha обход.

[soremix]

MinTnt, в любом случае инструментов много, тут уже зависит от извращений разработчика. Ничего не мешает допустим делать фингерпринты браузера по расширениям и если браузер уже был замечен за автоматизацией и подозрительными действиями, он уже получит ограничения. Бан по UA так же вполне себе ок.

Даже если взять банальный navigator.webdriver, то он вполне себе выдает селениум.


Вообще, драйверы обычно допиливаются напильниками для подмены расширений, обхода различных способов взять отпечаток, отключаются настройки ненужные, в общем все тонко настраивается под работу. А тут еще и капча в подарок.

Самая банальная идея, которая приходит в голову - заменить UA на другой и менять постоянно. Ну и по возможности можно загрузить 10 расширений и на каждую сессию ставить рандомный набор расширений

[MinTnt]

SoreMix, ну я толком уже понял как всё сделать

Answer 3

[Alexa2007]

--disable-blink-features=AutomationControlled

options.add_argument("--disable-blink-features=AutomationControlled")

driver = webdriver.Chrome(
    executable_path="chromedriver",
    options=options

Comments

[MinTnt]

Да там всё оказалось проще. Сайту не нравилось когда я в нужный раздел переходил сразу, так как там присутствовала переадресация. Я просто изменил изначальную ссылку для парсинга.