Почему происходит Блокировка доступа при использовании Selenium для парсинга?

Question

[Евгений Мефёд]

При попытке автоматизированного взаимодействия с вашим сайтом через Selenium WebDriver (Python) получаю сообщение "Доступ ограничен" с инцидентом: fab_chig_20250616084136_01JXVYDBXPWOVS51B318B2YXMQ.

1. Использую официальный ChromeDriver (версия соответствует браузеру).
   
2. Скрипт имитирует человеческое поведение:
   
3. Добавлены задержки между действиями.
   
4. Используется стандартный User-Agent.
   
5. VPN и прокси не используются.
   

Вопросы:

Какие технические требования Ozon к автоматизированным запросам?
Как легально реализовать сбор данных для личного использования?
Возможно ли получить API-доступ для таких задач?

Comments

[maksam07]

При попытке автоматизированного взаимодействия с вашим сайтом через Selenium

Какие технические требования Ozon к автоматизированным запросам?

Каким нашим? При чем тут озон? что вы вообще парсите? Ну а вообще, базовая версия селениума давно уже спокойно детектится

[Михаил Р.]

maksam07,

Ну а вообще, базовая версия селениума давно уже спокойно детектится

И не базовая так же.

[maksam07]

Михаил Р., если бы автор дал пример кода, где у него проблема, я бы потестил, а так - лень

Answer 1

[Серёга]

Предполагаю, что это связано с тем что данный сервис (OZON), специально спроектировали, чтобы его не парсили, тк у него (у OZON-а) есть свой платный API!

Answer 2

[Михаил Р.]

Использую официальный ChromeDriver (версия соответствует браузеру).

Разумеется, в ином случае вы пришли бы с другой ошибкой.

Скрипт имитирует человеческое поведение:
Добавлены задержки между действиями.

Между какими действиями?

VPN и прокси не используются.

Печально.

Какие технические требования Ozon к автоматизированным запросам?

Не selenium + имитация человеческих действий + нормальный прокси.

Возможно ли получить API-доступ для таких задач?

Для каких? https://docs.ozon.ru/api/

Как легально реализовать сбор данных для личного использования?

Только через открытый api, все остальное - нарушение закона.

Comments

[rPman]

все остальное - нарушение закона.

нарушением будет если это будет везти к проблемам работы сервиса (ddos)... очень очень коряво можно подвести публикацию собранных данных как нарушение, но при их массовом использовании это может нарушить работу самого сайта ozon с идеологической точки зрения (они мошенничают с этой информацией, и зарабатывают за счет плохого поиска по товарам, назначению персональных завышенных цен и т.п.)

данные на сайтах законом не регулируются, единственно сам сервис имеет права отказать в обслуживании нарушителю.

Answer 3

[Петр Лесоповалов]

Если вопрос ещё хоть сколько нибудь актуален:
Селениум как и любой эмулятор были спроектированы для тестов сайтов, а не для ботов. Существует undetected_chromedriver (так и называется) на просторах, а так же видел playwright в реализации undetectable, но название уже не помню. Это самые простые подходы если нужна эмуляция

Comments

[Евгений Мефёд]

Кстати да, ваше решение вполне соответствует тому, что получилось на самом деле. Использовал
selenium-stealth ( selenium в стелс-режиме)
undetected-chromedriver - зачем, вы объяснили.
Парочка прокси, привязка не через .css классы а через наличие в контейнере слова АРТИКУЛ (например) и всё работает.
Решение есть здесь Pricely