Здравствуйте столкнулся с проблемой что при парсинге страницы сайта через прокси он часто отдает 404 страницу а не нормальную
Если я отключаю прокси, то все парситься как надо.
Почему так и как это исправить?
Использую питон стандартную функцию r = requests.get( url , proxies = proxy_obj )
Возможно в других языках так же кто то сталкивался с этой проблемой
Всё зависит от прокси и его типа, вот тут в видео рассказывается об этом моменте https://www.youtube.com/watch?v=EBfQa8NkJbA&list=P...
Так же где-то тут уже были вопросы с подобной проблемой, один человек дал достаточно дельный совет: купить дешёвый ВПС и заказать много айпишников (как утверждал отвечавший - можно купить за копейки). Так же был вариант парсить через Tor.