Почему не получается скачать файл по этой ссылке средствами PHP (403 ошибка)? Как исправить код, чтобы он работал?

Question

[eugene159]

Вот мой код:

<?php
$url = 'https://www.vseinstrumenti.ru/instruction/1486389_manual.docx';

ini_set('user_agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36');
$contextOptions = [
    "ssl" => [
        "verify_peer" => false,
        "verify_peer_name" => false,
        'allow_self_signed' => true
    ],
];
$downloadedFile = file_get_contents($url, false, stream_context_create($contextOptions));

if ($downloadedFile === false) {
    $text = 'Ошибка при скачивании файла по ссылке: ' . $url;
    $headers = get_headers($url, 1);
    if (!empty($headers[0])) {
        $code = str_replace('HTTP / 1.1 ', '', $headers[0]);
        $text .= ', вот код ответа: ' . $code;
    }
    echo $text;
} else {
    echo 'Все отлично';
}

Мне выводится сообщение:

Ошибка при скачивании файла по ссылке: https://www.vseinstrumenti.ru/instruction/1486389_..., вот код ответа: HTTP/1.1 403 Forbidden

Если я захожу на страницу через браузер, то никаких ошибок нет, документ docx отдается. То есть это не блокировка по IP.
Я пробовал менять useragent в коде - не помогло. То есть это не блокировка по Useragent.

Как мне исправить мой код, чтобы он работал?

Comments

[Viktor T2]

Там защита стоит TLS fingerprint , не будем вдаваться в подробности
Скачать можно вот этим curl-impersonate https://github.com/lwthiker/curl-impersonate
бинарные сборки для линупса https://github.com/lwthiker/curl-impersonate/releases

./curl_ff102 https://www.vseinstrumenti.ru/instruction/1486389_... --output 222.docx
у меня скачал

[eugene159]

Viktor T2, это надо данный CURL на VPS ставить / на локальную машину? Чтобы из PHP его вызывать.

[Viktor T2]

eugene159, Да, конечно

[Viktor T2]

хром, кстати у меня не захотел работать, - сертификат не нашел

[eugene159]

Viktor T2, я в cmd в Windows 10 выполнил такую команду:

curl https://www.vseinstrumenti.ru/instruction/1486389_manual.docx > D:\doc.txt

Открыл doc.txt, а там html-код, а не docx. И в коде можно заметить такую последовательность: __cf_chl_tk. Если загуглить, то найдется информация про Cloudflare:
https://isotropic.co/what-is-__cf_chl_jschl_tk__/

Выходит, там защита Cloudflare. Это и есть TLS? Или TLS - это другое?

[Viktor T2]

eugene159, да оно, curl-impersonate под винду - нет

[Viktor T2]

eugene159,
Нет, вру, вот вроде сборка под винду, попробуйте
https://github.com/depler/curl-impersonate-win/rel...

Answer 1

[AUser0]

Прописывайте все-все header-ы, которые в своём запросе отправляет настоящий браузер, в том числе cookie. Ну и раз уж смотрите его запросы - задно смотрите, документ скачивается сразу по запросу, или через какой-нибудь редирект?

Comments

[eugene159]

А как мне точно узнать, какие заголовки отправляет мой браузер? Во вкладке Network в браузере вроде бы видны заголовки сервера, которые он отправил, а не заголовки моего браузера.

[rPman]

открываешь инспектор, закладка network, затем вставляешь ссылку, получаешь файл в инспекторе выбираешь единственное событие загрузки, смотришь на все заголовки, медитируешь и экспериментируешь.

Если выбрать copy - as curl то получается что то типа этого (и это работает)

curl 'https://www.vseinstrumenti.ru/instruction/1486389_manual.docx' --compressed -H 'User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/114.0' -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8' -H 'Accept-Language: en-US,en;q=0.5' -H 'Accept-Encoding: gzip, deflate, br' -H 'Connection: keep-alive' -H 'Cookie: is-visited=1; DCID=3dc-site-ox2-app2; onSiteDuration=47000; __cf_bm=NDgveFwct_Fr_6FXc8EA7Ert.vJbn2bHElDChW9GbUs-1687791517-0-AZEHFqXbsAoxp/WhemIJdqKlwhhgp69ArlDoxB40Go+vMTTaHL1Rl3KW2Yh33ECscxUrMotg6Hu9uMYgATfdZpM=' -H 'Upgrade-Insecure-Requests: 1' -H 'Sec-Fetch-Dest: document' -H 'Sec-Fetch-Mode: navigate' -H 'Sec-Fetch-Site: none' -H 'Sec-Fetch-User: ?1' -H 'TE: trailers' --output /dev/null

из этого можно сделать curl код уже для php

[eugene159]

rPman, я нажал "Copy as cURL (cmd)". Вставил в текстовый редактор. Сохранил с расширением "cmd". Запустил. У меня какая-то вечная задача пошла.

Я попробовал составить php код на основе этих данных:

<?php

$URL = 'https://www.vseinstrumenti.ru/instruction/1486389_manual.docx';

$ch = curl_init();
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_URL, $URL);
$headers = [
    'authority: www.vseinstrumenti.ru',
    'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'accept-language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7',
    'cookie: shouldBeSaleTeaser=1; showAdminPanel=1; showChooseShopNote=1; is-visited=1; favToken=SuapUN3kaV1MRv3CaADxU4A0F8Df70h7; rrpvid=65117632021305; device_uid=AHZ4lLiB3XmG8f7UZXH3L2vqOV0Q0SmhfF2Q8p6Zfw7rOGvR9gK0I2rJo4C6UxD4; _ga=GA1.1.583074507.1687726942; _gcl_au=1.1.2146863371.1687726943; ab_exps=%7B%22237%22%3A5%2C%22243%22%3A9%2C%22245%22%3A0%2C%22248%22%3A3%2C%22249%22%3A1%2C%22262%22%3A0%2C%22280%22%3A3%2C%22362%22%3A0%2C%22368%22%3A0%2C%22380%22%3A3%2C%22408%22%3A3%2C%22415%22%3A2%2C%22462%22%3A1%2C%22468%22%3A1%2C%22493%22%3A3%2C%22523%22%3A2%2C%22535%22%3A0%2C%22541%22%3A0%2C%22547%22%3A1%2C%22553%22%3A0%2C%22559%22%3A2%2C%22565%22%3A3%2C%22589%22%3A0%2C%22595%22%3A0%2C%22607%22%3A4%2C%22613%22%3A4%2C%22619%22%3A2%2C%22625%22%3A2%2C%22631%22%3A1%2C%22637%22%3A2%2C%22643%22%3A0%2C%22649%22%3A1%2C%22655%22%3A0%2C%22656%22%3A1%2C%22662%22%3A1%2C%22668%22%3A2%2C%22698%22%3A1%2C%22710%22%3A0%2C%22721%22%3A2%2C%22739%22%3A0%2C%22771%22%3A0%2C%22777%22%3A0%2C%22802%22%3A1%2C%22808%22%3A0%2C%22818%22%3A4%2C%22849%22%3A4%2C%22855%22%3A5%2C%22885%22%3A3%7D; vi_represent_id=-1; vi_represent_type=common; vi_features=%7B%22listing-delivery-dates%22%3A%220%22%7D; wucf=7; acctoken=eyJ0eXAiOiJKV1QiLCJhbGciOiJFUzI1NiJ9.eyJpc3MiOiJ2aXRlY2giLCJhdWQiOiJ2c2VpbnN0cnVtZW50aS5ydSIsImlhdCI6MTY4Nzc2ODc2NywiZXhwIjoxNjg3NzcyMzY3LCJkZXZpZCI6IjViMjdkZmIzLTVkODUtNDIyNS1iN2E3LTkzMDEyNzFkZjI1ZSIsInRpZCI6IjQzMGZkNTI2LWI4YmEtNDMwMC1hMjNkLTU1ZGZiODk2MWNlNCJ9.8oGiSxlYZ1B9hcXo67p-4-R-1lHNad8AlQkY-4r_KSw8rlFI6tx4BeYkOIXnnNeVx41ea6BmYr0GLUCn4j4n7A; reftoken=eyJ0eXAiOiJKV1QiLCJhbGciOiJFUzI1NiJ9.eyJpc3MiOiJ2aXRlY2giLCJhdWQiOiJ2c2VpbnN0cnVtZW50aS5ydSIsImlhdCI6MTY4Nzc2ODc2NywiZXhwIjoxNjk2NDA4NzY3LCJkZXZpZCI6IjViMjdkZmIzLTVkODUtNDIyNS1iN2E3LTkzMDEyNzFkZjI1ZSIsInRpZCI6IjQzMGZkNTI2LWI4YmEtNDMwMC1hMjNkLTU1ZGZiODk2MWNlNCJ9.b7WodAlBkxKd20Pyi53-xZLzxJz7AW7mHC14h0oFqKb2E7UphZq049hT0FY4fEjRnmJfukC0D1xFHSTPh5zIuQ; isNewCart=0; cartToken=wyqu1vMlg7LXE6Vk30wrCXAL7yQAP7uc; tmr_lvid=5606a4ec3fdd26a862a14d128f0050d5; tmr_lvidTS=1687768767843; tmr_detect=1%7C1687768767860; iap.uid=12f2cad8720845078060ed46c95b8439; _ga_87X8FGBH35=GS1.1.1687768767.2.1.1687768769.0.0.0',
    'if-modified-since: Mon, 26 Jun 2023 14:52:52 GMT',
    'sec-ch-ua: "Not.A/Brand";v="8", "Chromium";v="114", "Google Chrome";v="114"',
    'sec-ch-ua-mobile: ?0',
    'sec-ch-ua-platform: "Windows"',
    'sec-fetch-dest: document',
    'sec-fetch-mode: navigate',
    'sec-fetch-site: none',
    'sec-fetch-user: ?1',
    'upgrade-insecure-requests: 1',
    'user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36',
];
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
$data = curl_exec($ch);
curl_close($ch);
file_put_contents($_SERVER['DOCUMENT_ROOT'] . '/data.docx', $data);

В корне сайта создается docx файл, я пытаюсь открыть его, мне выводится, что он поврежден. Если попробовать сделать var_dump($data); то выведется несколько пустых строк.

Мне кажется, что cURL тоже не работает. Может, я делаю что-то не так?

[rPman]

ага, там html-ка загружается, значит оно как то еще детектирует curl
хорошая защита, взламывать ее будет скорее всего сложно (но не невозможно). Там используется редирект, который скорее всего по таймингам или каким то специфическим особенностям браузера работает (он же куку и задает). Когда мы копируем curl из инспектора, мы берем уже готовую строчку, которая уже отработала и повторно уже не работает. По простому у меня не получилось, нужно ковырять дольше.

p.s. дешевле грузить браузером хоть тем же selenium, тем более этот способ будет работать если способ защиты владелец сервера поменяет

[AUser0]

А вот if-modified-since точно надо убрать, оно мешает, потому что сервер не передаёт файл, а отвечает 304-ым статусом HTTP, а вам как раз этого и не надо!

Answer 2

[Талян]

может дело не в юзерагенте а в http_referrer?

Comments

[eugene159]

Я в инкогнито открываю эту ссылку, все норм скачивается. Следовательно, дело не в http_referrer.

Answer 3

[Алексей Евтеев]

Потому что при скачивании, в запросе передаётся много токенов в куках. Сделано это специально чтобы люди не выкачивали файлы автоматически. Чтобы обойти защиту надо разобрать формирование каждого токена, либо основного.