Как спарсить Леруа Мерлен?

Question

[ubirust]

Как спарсить Леруа Мерлен? При использовании селениума выдается на их сайте ошибка "Сайт может не работать с VPN". При этом прокси я не использовал. Стоит undetected chromedriver чтобы скрыть, что запрос идет через webdriver. Что можно в этом случае предпринять?

spoiler

Comments

[Никита Булгак]

У них есть api , что нужно именно от сайта ?

[tem12qaz]

Откуда код запускаете?

[ubirust]

Никита Булгак, Спарсить наименования, артикулы, цены нужных категорий товаров и отслеживать изменение цены

[ubirust]

tem12qaz, PyCharm

[maksam07]

ubirust, впн какой страны?

[ubirust]

maksam07, впн не используется, прокси не используются.

[accountnujen]

у нас в стране парсинг карается законом

[ubirust]

accountnujen, Не пишите чушь, если не разобрались в вопросе. Даже на этом сайте тысячи запросов связанных с парсингом. Тот же яндекс использует технологию парсинга, чтобы индексировать сайты

[tem12qaz]

ubirust
Там qrator блокирует селен, как обойти из под самого селена - не знаю
В целом можно подменить заголовки селена на получаемые в обычном хроме вручную. Костыль конечно, но должно работать.

[kotbezusow]

tem12qaz, а как это сделать можете подсказать?

[kotbezusow]

Для того, чтобы получить доступ к сайту необходимо в заголовках передать юзер-агент и токен qrator_jsid через куки. Значение qrator_jsid можно найти в devtools браузера, но проблема в том, что оно примерно каждые 30 минут обновляется. Может кто-нибудь знает как его автоматически получать и передавать в запросе?

[tem12qaz]

kotbezusow, попробую сегодня

[Kostya2077]

ubirust не уверен, но вроде это то что нужно https://excelvba.ru/programmes/Parser/manuals/erro...