Некорректный curl php запрос (xhr)?

Question

[Ivan9091]

Пытаюсь "собрать" по своим старым знаниям PHP скрипт для автозаполнения данных на сайте-агрегаторе пользовательских данных, работающего на asp.net mvc (в нем вообще не соображаю). В чем может быть проблема?
Вот запрос:

function search($url,$postfields){
   $ch = curl_init();
   curl_setopt($ch, CURLOPT_URL, $url);
   curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
  curl_setopt($ch, CURLOPT_COOKIEFILE, $_SERVER['DOCUMENT_ROOT'].'/cookie.txt');
   curl_setopt($ch, CURLOPT_COOKIEJAR, $_SERVER['DOCUMENT_ROOT'].'/cookie.txt');
  curl_setopt($ch, CURLOPT_VERBOSE, true);
	$verbose = fopen('./t.txt', 'w+');
	curl_setopt($ch, CURLOPT_STDERR, $verbose);
   curl_setopt($ch, CURLOPT_POST, 1);
   curl_setopt($ch, CURLOPT_POSTFIELDS,$postfields);
   curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (Windows; U; Windows NT 5.0; En; rv:1.8.0.2) Gecko/20070306 Firefox/1.0.0.4");
   curl_setopt($ch, CURLOPT_HEADER, 1);
   curl_setopt($ch, CURLOPT_HTTPHEADER, array(
"Accept: application/json, text/javascript, */*; q=0.01",
"Accept-Encoding: gzip, deflate, br",
"Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3",
"Connection: keep-alive",
"Content-Length: " . strlen($postfields)."",
"Host: site",
"Origin: https://site",
"Referer: https://site/Project/NZS?subsystem=623",
"X-Requested-With: XMLHttpRequest"));
   curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

   $result=curl_exec($ch);

   curl_close($ch);

   return $result;
}
$udec = [
'draw'	=> "1",
'columns[0][data]'=>	"0",
'columns[0][name]'	=>"",
'search[value]'=>	"",
'search[regex]'	=>"false"]; 

$udec = json_encode ($udec, JSON_UNESCAPED_UNICODE);

 $third = search('https://site/Project/NZS_GetPartData',$udec);

По идее сервер на указанный запрос должен ответить данными JSON, но получаю вот это:

Ошибка сервера в приложении '/'.
Описание: Необработанное исключение при выполнении текущего веб-запроса. Изучите трассировку стека для получения дополнительных сведений о данной ошибке и о вызвавшем ее фрагменте кода.

Сведения об исключении: System.ArgumentException: The parameters dictionary contains a null entry for parameter 'length' of non-nullable type 'System.Int32' for method 'System.Web.Mvc.ActionResult NZS_GetPartData(Int32, Int32)' in 'Tip.Controllers.ProjectController'. An optional parameter must be a reference type, a nullable type, or be declared as an optional parameter.
Имя параметра: parameters. 
Трассировка стека:


[ArgumentException: The parameters dictionary contains a null entry for parameter 'length' of non-nullable type 'System.Int32' for method 'System.Web.Mvc.ActionResult NZS_GetPartData(Int32, Int32)' in 'Tip.Controllers.ProjectController'. An optional parameter must be a reference type, a nullable type, or be declared as an optional parameter.
Имя параметра: parameters]...

Помогите, а то придется вручную вносить тысячи записей.
Curl verbose ошибок не выдал. проблема скорее не в запросе а в ее обработке, этого параметра 'parameters' нет в запросе.

Comments

[Василий Банников]

работающего на asp.net mvc

А каким образом это влияет на вызывающую сторону? У тебя есть вполне определённый интерфейс - HTTP, который должен скрывать детали реализации (что он и делает)
А то что что-то упало с 500й ошибкой - это баг, который на той стороне кто-то должен исправить (а конкретнее - выдать нормальное сообщение об ошибке)

Но сейчас ошибка намекает на то что ты пропустил какой-то обязательный параметр length.

Answer 1

[rPman]

Так тут тебе не смогут помочь, но

Открываешь страницу в браузере, открываешь по F12 консоль разработчика, открываешь вкладку Network, обновляешь, делаешь все необходимые действия как пользователь для отправки запроса... получаешь подробный лог всех сообщений, отправленных серверу.

Правая кнопка на записи, копировать, как curl bash - получишь строку в буфере, которая подробно расписывает какие заголовки и каким должен быть запрос, повторяешь его в php (я в одном месте не смог, была какая то особенность различие в php_curl, так я тупо запускал утилиту curl которая работала)

Вполне возможно сервис ожидает что нужно несколько запросов последовательно (бывают такие программисты не знающие что запросы в REST должны быть с независимыми состояниями, ну это хороший тон)

p.s. одно время старался, симулировал вызовы, но позже понял что гораздо проще и дешевле для разработки (но дороже по ресурсам cpu и ram) симулировать поведение на самом сайте, особенно если код нужно поддерживать несколько лет а сайт и запросы меняются постоянно), делать это можно как инструментами типа selenium так инжектом javascript кода прямо на страницу сайта с помощью чего то типа greasemonkey

Answer 2

[Immortal_pony]

Судя по ошибке, сервер ожидал параметра 'parameters', а вы ему его не прислали.
Пальцем в небо, ожидался он тут:

$udec = [
    'parameters' => [ // <-- вот тут
        'draw' => "1",
        'columns[0][data]' => "0",
        'columns[0][name]' => "",
        'search[value]' => "",
        'search[regex]'	=> "false"
    ]
];

Ну а реально проанализировать можно будет только если вы опубликуете документацию API, к которому стучитесь.
Потому что без неё невозможно понять, правильно вы составляете запрос или нет.

Comments

[Ivan9091]

проверял я направляемые запросы в firebug, такой параметр не передается, документации никакой нет.

[Immortal_pony]

Ivan9091 Ссылку дадите, чтоб мы тоже проверили?)
Ну, могу потыкать ещё пальцем в небо и уточнить, почему вы так странно собираете запрос?
Логичным способом кажется это делать вот так:

$udec = [
    'draw' => 0,
    'columns' => [
        [
            'data' => 0,
            'name' => ""
        ]
    ]
    'search' => [
        'value' => "",
        'regex' => false
    ]
];

[Ivan9091]

я не программист и от оптимизации кода далек, взял и скопировал данные запроса в firebug. Этот сайт - Региональный сегмент государственной автоматизированной системы «Управление», необходима авторизация.
Ну авторизацию я прошел тоже курлом успешно.
+ я дублирую заголовки и запросы, что отображаются в firebug (здесь в вопросе я обрезал, чтобы не было нагромождено), вот ссылка на HAR -файл (в файрфоксе - F12, справа шестеренка - импортировать HAR-файл). Запрашиваемая страница - NZS_GetPartData.
Спасибо, не ожидал такого отклика)

[Ivan9091]

ссылка на яндекс.диск

[Immortal_pony]

Ivan9091, судя по дампу, там нет никакого кодирования в json. Откуда вы его взяли?

Соответственно, предлагаю:
1. Формировать список параметров нормально, как я указал в комментарии.
2. Паковать с помощью http_build_query вместо json_encode

Итого, код будет примерно таким:

$udec = [
    'draw' => 0,
    'columns' => [
        [
            'data' => 0,
            'name' => ""
        ]
    ]
    'search' => [
        'value' => "",
        'regex' => false
    ]
];
$udec = http_build_query($udec);

PS Возможно, что обязательно указание других параметров типа start и length, которые есть в примере, но которых нет у вас в коде.

[Ivan9091]

Immortal_pony, спасибо, уже ошибку не выводит, только вот это "��T�n�0���;�\ӹ�v� )�Ү�k��h�r/1u~f;�+7\ �� c����x".

[Immortal_pony]

Ivan9091 Выглядит сложночитабельно)
Попробуйте base64_decode к этому применить что ли )
Код ответа посмотрите ещё - может он что-то подскажет

[Ivan9091]

не помогает, HTTP/2 200 server: nginx date: Tue, 15 Feb 2022 17:15:05 GMT content-type: text/html; charset=utf-8 cache-control: private, s-maxage=0 p3p: CP="IDC DSP COR ADM DEVi TAIi PSA PSD IVAi IVDi CONi HIS OUR IND CNT" x-aspnetmvc-version: 5.2 x-aspnet-version: 4.0.30319 set-cookie: lang=ru; path=/ x-powered-by: ASP.NET content-encoding: gzip

mb_detect_encoding говорит, что это UTF-8.
Ответ не меняется при изменении направляемых параметров POST.
На этом я опускаю руки.))