Здравствуйте. Поступила задача заменить использование wget. Не буду вдаваться в подробности, НО! У меня возникла ситуация, когда один из сторонних сервисов некорректно реагирует на запросы.
При попытке совершить GET запрос по определённому адресу я получаю редирект на html-страничку этого сервиса. В случае с wget такого не наблюдается, по тому-же URL'у стабильно скачивается файл.
При попытке совершить GET запрос по определённому адресу я получаю редирект на html-страничку этого сервиса. В случае с wget такого не наблюдается, по тому-же URL'у стабильно скачивается файл.
Сравните заголовки запросов, в частности, User-agent.
@throughtheether Я уже. Полностью подделать заголовки не удалось т.к. net/http расставляет их в каком-то своём порядке. Ещё сервер с непонятной целью "запоминает" wget. Путём проб и ошибок пришёл к выводу, что если достаточно долго не использовать wget, то сервер принимает мой запрос за запрос от wget и нормально отдаёт файл вместо редиректа. Вам спасибо за наводку.
@keksmen Насколько я понял, сервер классифицирует вашего клиента как бота (обращая внимание на нюансы HTTP и прочая; используя статистические данные) и на некоторое время включает соответствующую "защиту". (см.статью с описанием подобного примера). Думаю, если получится "байт-в-байт" повторить поведение wget, то файл должен качаться без проблем. В любом случае, был рад помочь.
При таком малом количестве вводной информации подсказать Вам будет проблематично ...
Всё таки может Вы сможете выложить дамп заголовков обоих запросов (сниффер или прокси) ?
Простой
