Можно ли получить доступ к сайту?

Question

[ant123455432143]

Столкнулся с проблемой блокировки при попытке запустить парсер внутри Docker-контейнера.

Стек: Python 3.11, undetected_chromedriver (последней версии), pyvirtualdisplay (Xvfb).
Запускаю Docker локально на той же машине, где обычный скрипт (без докера) работает идеально. То есть проблема не в IP, а именно в отпечатках контейнера.

Что уже реализовано для маскировки:
AutomationControlled выключен, User-Agent подменял (в т.ч. на полностью идентичный нативному).
Проброшены таймзоны (TZ=Europe/Moscow), сгенерированы локали (ru_RU.UTF-8).
Использую ActionChains для движений мыши, рандомные задержки, скролл.
Через CDP подменял WebGL Vendor/Renderer (чтобы скрыть софтверный SwiftShader), правил deviceMemory и hardwareConcurrency.

403 Forbidden, Guru meditation прилетает мгновенно при первом же driver.get(). Браузер даже не успевает начать рендерить страницу.
Мне необязательно использовать виртуальный экран или вообще полноценный браузер. Главное - чтобы это работало внутри Docker.

Comments

[Василий Банников]

User-Agent подменял (в т.ч. на полностью идентичный нативному).

А этот user agent другим фингерпринтам соответствует?
Если ты парсишь через chrome, а в user agent пишешь что-то от мобильного браузера, то тогда это будет палиться.

[Aetae]

В крайнем случае всегда можно сделать сырой tcpdump, поставравшись минимизировать шум и посмотреть разницу.:)

Answer 1

[Михаил Р.]

на той же машине

На винде или линуксе? Если на винде и там было все ок, то возможно, стоит смотреть в сторону ttl и tls fingerprinting Jja3/4 (возможно, dns банит все линуксы по дефолту).

403 Forbidden, Guru meditation прилетает мгновенно при первом же driver.get(). Браузер даже не успевает начать рендерить страницу.

Сделайте скрин страницы с "403 Forbidden, Guru meditation", может там анти-бот система вас ловит.

Через CDP подменял WebGL Vendor/Renderer

Через CDP нельзя изменить WebGL параметры в обычном браузере. Вы выполняете js скрипт, который переопределяет стандартное поведение встроенного объекта браузера, что вполне уверенно определяется средней анти-бот системой.

Если бы я пытался определить бота из под докера, я бы в первую очередь смотрел на пакет шрифтов, client hints и глубину цветов дисплея.

Но я думаю, что проблема в какой то мелочи. Попробуйте из под докера зайти на browserscan.net, и спустя 20 сек сделать скрин всей страницы, затем, сравните с тем, какие данный отображаются на том же сайте не из под докера, ищите расхождения.

Comments

[N]

ant123455432143, Ещё попробуй "мимо Куратора этого" пройти...если они засветили IP реального сервера(как искать можно нагуглить...) и настроили без фанатизма...то можно напрямую "долбить"...раньше с м...видео и пердо(Э'ль)Радо прокатывало...

Ну и есть вариант выдачи 403 - потому что ты УЖЕ попал под фильтры с этого IP...попробуй "позже" и не пались...

[Михаил Р.]

N, если я правильно понял, он запускает скрапер на одной и той же машине, но из под докера не работает. IP на выходе будет один и тот же.
ant123455432143

Можете дать направление, пожалуйста, куда копать?

Можно от обратного поступить, попробуйте имитировать свой линукс-докер из под рабочей винды. Надо исключить (или подтвердить) вариант бана всех Линуксов. И ещё вариант, если есть полноценный Линукс (не в докере), то можно попробовать запустить скрапер там, если заработает, то скорее всего, причина в виртуальном дисплее в докере.

Если бы я сразу понял, что оказывается не все сайты можно спарсить

Спарсить можно все, что можно открыть обычным браузером, без автоматизации. Другой вопрос, что днс сайт защиты практически не имеет, так что шансы у вас есть.

Answer 2

[Steel_Balls]

Да никак. Это война нападающего и защитника.
Очевидно, что защита у Qrator выше, чем у тебя как лайтового нападающего.
Либо смирись с поражением, либо повышай свой уровень

Comments

[N]

ant123455432143,

Если бы я сразу понял, что оказывается не все сайты можно спарсить

Всё - что видит обычный пользователь - можно спарсить :)

"Подход" найти нужно...в этом и изюминка...выше уже ответили - чем руководствоваться изначально...дальше - больше - интереснее - сложнее...

[Кот Абсолютный]

ant123455432143, Разачарование... оказывается информацию-то некоторые защищают... Не, спарсить можно, но нужно повышать уровень.

[Steel_Balls]

ant123455432143,

мне нужно было характеристики товаров спарсить, что там защищать то.

Всего-то делов-то, да? "просто спарсить"...
А ты условия на сайте читал, что парсить нельзя? И за это жестоко карают.

а я эту задачу должен был сдать в понедельник, поэтому тут прошу советов

Мальчик, это уже даже не смешно. Никого не волнует когда тебе надо было сдать задачу по сбыту ворованного контента.
Молись, чтобы на тебя в суд не подали и не посадили как вора и мошенника

[Михаил]

Steel_Balls, за публичную информацию о товаре? вы почитайте в ГК РФ, что такое интелектуальная собственность и авторское право.

[Steel_Balls]

Михаил, а при чём здесь ГК РФ, если я в Испании живу?

[Михаил]

Steel_Balls, а какая разница, где вы живете? сам термин, в 90% стран будет одинаковым или очень похожим. А так вы можете прочитать на языке, который знаете с рождения.

[Steel_Balls]

Михаил,

а какая разница, где вы живете?

А разница такая, что в интернете законы Зимбабве, Северной Кореи, Афганистана, России или Ирана никоим образом меня не касаются.

[Михаил]

Steel_Balls, так вы видимо плохо знаете испанский, раз до сих пор не знаете, что такое авторское право и интеллектуальная собственность в Испании(ЕС), раз вы думаете, что информация о товаре это попадает под понятие "интеллектуальная собственность"

[Steel_Balls]

Михаил, там чувак апеллирует к законам РФ, а не ЕС.
Это всё равно что ссылаться на законы Ирана или Афганистана в интернете. Всем на них пох

Answer 3

[rPman]

посмотрите, работает ли в браузере в docker DRM (поддержка защищенного воспроизведения в браузере), это хороший маркер не настоящего окружения, оно даже в виртуалке есть... и кстати это вариант, ваше требование docker возможно накладывает слишком тяжелые ограничения

Comments

[Кот Абсолютный]

У днс-а точно есть DRM на странице - всплывает периодически плашка "Хотите включить DRM"?

[rPman]

Кот Абсолютный, я видел эту плашку, с высокой вероятностью она появляется по требованию алгоритма, я не изучал вопрос, я обычно парсингом занимаюсь прямо из пользовательского браузера, и очень небольшие объемы, поэтому с проблемами автора вопроса не сталкиваюсь изначально

[N]

Кот Абсолютный,

У днс-а точно есть DRM на странице - всплывает периодически плашка "Хотите включить DRM"?

У меня по-умолчанию это выключено...когда просят включить - не соглашаюсь...и ДНС работает...и я с Linux'а...

[rPman]

N, не, там мелькает на секунду строка что что то там инициализирует drm, и исчезает

Answer 4

[Михаил]

Если блокировка мгновенная, ещё до рендера. Блокировка происходит на уровне TCP/TLS, до того как браузер вообще что-то исполняет. По моему опыту TLS Fingerprint (JA3/JA3S) главный виновник. Попробуй Camoufox, у него хорошая защита от фингерпринтинга и у него по сути Playwright api.