Почему сайт не дает нужные куки?

Question

[Us59]

Зашел в режим инспектора, сделал copy as cURL через сайт с генерировал curl запрос.

curl_setopt($ch, CURLOPT_URL, 'myURL');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET');
curl_setopt($ch, CURLOPT_ENCODING, 'gzip, deflate');
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiefile);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiefile);

Все Headers отправляю. Сайт отвечает мне ответом 200, кажется все норм, но при этом в браузере ответ - Status Code: 304 Not Modified

А теперь о проблеме:
Мне нужно получить куки от сайта.

Вот фото того, что я вижу в браузере:


Сайт дает 2 куки, которые мне нужны: ak_bmscи akacd_activate_*****_com_phased_release

Теперь делаю cURL запрос и получаю куки:
akacd_activate_*****_com_phased_release и bm_sz и _abck, т.е. сайт мне не дает куки которые мы видим в браузере, а дает какие-то другие.

Может нужно добавить какие-то настройки в cURLе?

Answer 1

[Игорь]

Код "HTTP 304 Not Modified" клиента указывает, что нет необходимости повторно передавать запрошенные ресурсы. Это неявное перенаправление на кэшированный ресурс.

вырезка из MDN - 304 Not Modified


Возможно ваш сервер по разному реагирует на запросы от пользователя(User-Agent) и от стороннего сервера(Host)

Сайт дает 2 куки, которые мне нужны: ak_bmscи akacd_activate_*****_com_phased_release

Теперь делаю cURL запрос и получаю куки:
akacd_activate_*****_com_phased_release и bm_sz и _abck, т.е. сайт мне не дает куки которые мы видим в браузере, а дает какие-то другие.

Попробуйте в дополнение передавать User-Agent в запросе, вот так:

curl_setopt_array($ch, [
    CURLOPT_URL, 'myURL',
    CURLOPT_RETURNTRANSFER, true,
    CURLOPT_FOLLOWLOCATION, true,
    CURLOPT_ENCODING, 'gzip, deflate',
    CURLOPT_COOKIEFILE, $cookiefile,
    CURLOPT_COOKIEJAR, $cookiefile,
    CURLOPT_USERAGENT, '' // Впишите сюда User-Agent из вашего браузера
    ]);

P.S. зачем вот это curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET');? По умолчанию и так GET.
P.P.S Почему в CURLOPT_COOKIEFILE и CURLOPT_COOKIEJAR указан один и тот же файл?

Comments

[Us59]

loonny как я указал в начале вопроса: сделал copy as cURL и таким образом, user agent и другие данные скопировались из браузера и они идентичны.

p.s. это строит автоматически сайт

Из вашего ответа так и не понял, почему сайт дает мне другие куки когда запрос делаю через cURL.

[Игорь]

Us59, на ваш вопрос:

Из вашего ответа так и не понял, почему сайт дает мне другие куки когда запрос делаю через cURL.

Я ответил:

Возможно ваш сервер по разному реагирует на запросы от пользователя(User-Agent) и от стороннего сервера(Host)

И даже решение подсказал возможное:

curl_setopt_array($ch, [
    CURLOPT_URL, 'myURL',
    CURLOPT_RETURNTRANSFER, true,
    CURLOPT_FOLLOWLOCATION, true,
    CURLOPT_ENCODING, 'gzip, deflate',
    CURLOPT_COOKIEFILE, $cookiefile,
    CURLOPT_COOKIEJAR, $cookiefile,
    CURLOPT_USERAGENT, '' // Впишите сюда User-Agent из вашего браузера
    ]);

[Игорь]

p.s. это строит автоматически сайт

не знаю что у вас там строит автоматически сайт, я сужу по сгенерированному коду в котором нет User-Agent

[Us59]

loonny, добавил user agent как вы написали, не помогло.

Почему в CURLOPT_COOKIEFILE и CURLOPT_COOKIEJAR указан один и тот же файл?

А что тут такого? Куки берутся из одного файла и сохраняются в этот же файл.

[Игорь]

Us59,

А что тут такого? Куки берутся из одного файла и сохраняются в этот же файл.

Ничего, просто уточнил, знаете ли вы что делаете.

добавил user agent как вы написали, не помогло.

Покажите код который у вас получился

[Us59]

loonny,

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'url');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET');
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36 OPR/68.0.3618.104');
curl_setopt($ch, CURLOPT_ENCODING, 'gzip, deflate');
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiefile);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiefile);

$headers = array();
$headers[] = 'Connection: keep-alive';
$headers[] = 'Cache-Control: max-age=0';
$headers[] = 'Upgrade-Insecure-Requests: 1';
// $headers[] = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36 OPR/68.0.3618.104';
$headers[] = 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9';
$headers[] = 'Sec-Fetch-Site: none';
$headers[] = 'Sec-Fetch-Mode: navigate';
$headers[] = 'Sec-Fetch-User: ?1';
$headers[] = 'Upgrade-Insecure-Requests: 1';
$headers[] = 'Sec-Fetch-Dest: document';
$headers[] = 'Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7';
$headers[] = 'If-None-Match: \"43a72-5a5b5b78a195f-gzip\"';
$headers[] = 'If-Modified-Since: Fri, 15 May 2020 20:32:50 GMT';
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

[Игорь]

Us59, Тогда возможно сервер к которому вы запросы отправляете проверяет наличие заголовка Host. Если он есть - запрос от другого сервера, если нет от пользователя сайта. Этот заголовок вы никак не отключите в PHP.

[Us59]

loonny, как это проверить и решить? Если так, то я думаю curl умер бы на php, ибо все сайты могли бы сделать подобную защиту

[Игорь]

Us59, По вашему cURL для этого задумывался? cURL это не библиотека для нелегального парсинга контента.

[Игорь]

Us59, Можете через Python подобные запросы отправлять с помощью библиотеки requests например, там таких ограничений нету

[Us59]

loonny, у меня скрипт на php написан. на php нету никаких вариантов? Да и знаний Python нету.

[Игорь]

Us59, На PHP заголовок Host передается всегда, вы никак это не отмените. Это стандарт. Возможно кто-то и придумал как это обойти, но я о таком не слышал и не вижу вообще особого смысла в этом.