Каким образом реализовать такую защиту от headless браузера?

Question

[antimodern]

В последнее время встречаются сайты, которые каким-то образом умудряются блокировать тулзы типо Puppeteer на корню! Но как они это делают непонятно?

Например - https://www.expertflyer.com

Если вы попробуете зайти на этот сайт, то увидите как соединение мгновенно разрывается. Ничего даже не грузится в DevTools!!!

Ну т.е. ладно если бы это была какая-то проверка JS кодом на клиенте. Тут же вообще тупо рвется все. Как блин?

User-agent конечно же изменен. Все известные мне методы обхода детекта тоже применены, но как я говорю - ничего ведь не грузится даже, тупо рвется. Как они так сделали? Можно ли как-то исследовать что все-таки загружается на клиент при первом запросе (из DevTools это все исчезается после обрыва)

Answer 1

[Dimonchik]

чудесОВ не бывает

ФФ поустойчивее Хрома к антиселениумским заморочкам

ставь фидлер, смотри внимательно что там кто там

если уж точно рвется без JS - дело в IP

Comments

[antimodern]

Не. С этого же айпи я захожу нормально из обычного браузера. Вообщем я нагуглил Distil Networks. Это защита. Все таки идет подгрузка скрипта, но очень быстро - https://www.expertflyer.com/xprtflr.js

[Dimonchik]

да, Distil известный
ну а про чудеса уже сказал

[antimodern]

dimonchik2013, похоже попандос. Никак не обойти. Покрайней мере в паблике решения нету.