Странное поведение при доступе к файлу через http(s). Как скачать файл через CURL который выдаёт 404?

Question

[roskoshinsky]

Коллеги. Добрый день. Вот файл https://lenta.ru/sitemap.xml При переходе через браузер по ссылке -- файл скачивается. Однако при доступе через тот же curl+php -- 404. Проверил заголовки (http://www.bertal.ru) — действительно 404. Однако на оснjвании чего его скачивает браузер? и главное, как всё же его скачать через curl+php, какие опции?

Comments

[OVK2015]

cookies? А вообще-то код покажите,- значительно легче будет

Answer 1

[Dimonchik]

serverfault.com/questions/469824/curl-disable-cert...

но он может и юзерагента палить

Comments

[roskoshinsky]

Не похоже на то: www.bertal.ru/index.php?a2663236/https://lenta.ru/... выставляю юзер-агентом бота и то же самое. Ума не приложу (

[Dimonchik]

www.telerik.com/fiddler