Как спарсить Леруа Мерлен? При использовании селениума выдается на их сайте ошибка "Сайт может не работать с VPN". При этом прокси я не использовал. Стоит undetected chromedriver чтобы скрыть, что запрос идет через webdriver. Что можно в этом случае предпринять?
accountnujen, Не пишите чушь, если не разобрались в вопросе. Даже на этом сайте тысячи запросов связанных с парсингом. Тот же яндекс использует технологию парсинга, чтобы индексировать сайты
ubirust
Там qrator блокирует селен, как обойти из под самого селена - не знаю
В целом можно подменить заголовки селена на получаемые в обычном хроме вручную. Костыль конечно, но должно работать.
Для того, чтобы получить доступ к сайту необходимо в заголовках передать юзер-агент и токен qrator_jsid через куки. Значение qrator_jsid можно найти в devtools браузера, но проблема в том, что оно примерно каждые 30 минут обновляется. Может кто-нибудь знает как его автоматически получать и передавать в запросе?
Простой
