Почему не совпадает значение заголовка Content-Length с реальным количеством символов?

Question

[Надим]

Отправляю JSON на сервер:

var json = JSON.stringify(obj);

response = await $.ajax({
    url: 'https://server.com',
    method: 'POST',
    contentType: 'application/json; charset=utf-8',
    data: json,
    dataType: 'html'
});

В переменной json текст, количество символов которого равно 10188, но заголовок Content-Length у меня показывает больше символов, а именно 10255! Я не понимаю, почему в консоли длинна запроса у меня получается больше???

Зачем мне это надо знать

Многие из вас кажут, а тебе не похрен? Просто пользуйся и не забивай голову, но это не так. Дело в том, что сервер на который я отсылаю данные блокирует запрос, если Content-Length неверный. При отправке запроса из браузера это не критично, так как браузер сам верно рассчитывает кол-во символов, но это критично, когда мне надо отправить этот же самый запрос из php! В этом случае мне самому надо посчитать длину запроса и вписать его в заголовках запроса - да только сервер не принимает посчитанные мной вручную значения. Соответственно, мне нужно понять каким образом считает длинную запроса сам браузер и реализовать подсчет по аналогии уже на php. Мне нужно лишь понять, почему в консоли Conten-Length больше получается, чем реально отправляемые данные.

Comments

[sinneren]

могу предположить из-за сжатия и символов перевода строки

[Надим]

sinneren, но количество символов в консоли становится больше! А не меньше. Как мне вручную посчитать правильно, чтобы совпадало с тем, что считает сам браузер?

[Kovalsky]

Надим Закиров, "но количество символов в консоли становится больше" - на вашем скрине наоборот,

"При отправке запроса из браузера это не критично, так как браузер сам верно рассчитывает кол-во символов, но это критично, когда мне надо отправить этот же самый запрос из php!" - ну тогда ваш вопрос совсем не к js, а к php. Возьмите тестовые данные, посмотрите на их примере по какой причине возникают расхождения в длинах строк, учтите эту причину при расчётах

[sinneren]

json.length - количество символов
content-length - количество байт в запросе.
Длина строки всегда = количество символов + 1 байт (с нулевым кодом) в конце строки.

Answer 1

[Rsa97]

json.length - длина строки в символах.
content-length - длина тела запроса в байтах.
В общем случае символ != байт.

Comments

[Надим]

Вот оно где расхождение. Провел тест и оказалось, что если рассчитать длинну текста на PHP через strlen() то получаю верные цифры, а если считать на JavaScript при помощи .length то получаю неверные цифры. Подскажите, если не сложно, а есть ли аналоги strlen() на JavaScript? Чтобы как написали, считало длинну в байтах.

Нет, я знаю, что мог бы перегнать строку в Blob и посчитать его размер, но может есть еще способы?

[Rsa97]

Надим Закиров, Не знаю, не было такой задачи у меня никогда.
В PHP могу подсказать. strlen - длина в байтах, mb_strlen - длина в символах.

[Надим]

Rsa97, да в принципе это уже не важно, проверил, если перегнать строку в Blob и посчитать размер полученного файла, то на выходе получаю как раз верные цифры. Значит так и буду делать.

Огромное спасибо!) Если бы ее твоя подсказка о том, что content-length это именно размер данных в байтах я бы так и продолжил заблуждаться, думаю что это кол-во символов.

Answer 2

[Kovalsky]

Если данные в JSON, то какие-то символы могут быть экранированы. Например строка "{"key":"string \"with \\special chars"}" в сыром виде состоит из 39 символов, после обработки js будет состоять из 37

Comments

[Надим]

Kovalsky, спасибо за наводку. Это очень странно, но при расчете длинны текста на PHP и JavaScript я получаю разные цифры o_O

Чудеса. Теперь понял куда копать, твой ответ отмечу, как решение.

[Надим]

Kovalsky, разобрался. Я почему-то всегда думал, что Content-Length это количество символов, в этом моя ошибка. Как мне подсказал Rsa97 оказывается, Content-Length это размер данных в байтах! И это критически важный момент при ручном расчете размера. Попробовал перегнать строку в Blob и посмотреть размер полученного файла, теперь все верно, все сходиться)

[sinneren]

дело в байтах) тут сравнение жопы с пальцем в вопросе

[Kovalsky]

Надим Закиров, ну там именно потому и написано content-length, а не например response-text-length: слово content намекает на то что в теле ответа могут быть не только текстовые данные, но еще и других типов, например бинарные. Но в целом я бы тоже не догадался что длина строки ответа почему-то не будет совпадать с content-length) Хорошо что проблему решили,

[Надим]

Kovalsky, я тоже не догадался, так как на маленьких данных, где всего пара цифр передается длинна строки совпадает с размером в байтах и у меня не было проблем, а вот на больших данных вылезло расхождение) Короче очень хитрый нюанс оказался, полдня убил пытаясь понять, почему сервак блочит мои зпросы. Думал какая-нибудь хитрая антибот защита, а оказалась вот такая мелочь) Если бы не спонтанная идея перебрать все заголовки, убирая их по одному, я бы так и не понял, что проблема в Content-Length.