Почему js делает неправильный hex?

Question

[Klucva]

У меня есть некий:
var hex = "354d413043b4b440e1510b00";
Я делаю из него строку с помощью:

var not_hex = Buffer.from(hex, 'hex').toString('utf8');

и потом снова делаю строку в hex:

var hex_again = Buffer.from(not_hex, 'utf8').toString('hex');

И в итоге получаю другое значение hex: 354d413043efbfbdefbfbd40efbfbd510b00

Так и должно быть что-ли? Или может быть я не так делаю строку из hex?

(если вы будете расшифровывать первый hex, то там должна получиться билибирда, так и должно быть)

Comments

[alexalexes]

Зачем вам здесь нужно кодировать в utf-8? 16-ричные числа никогда не выбегают за возможности однобайтовых кодировок.

[Lynn «Кофеман»]

Расскажите для чего вы хотите преобразовать буфер в строку utf8? И может тогда будет понятнее что же на самом деле нужно

Answer 1

[dollar]

В UTF-8 есть правила. Поэтому не всякая бинарная строка является валидной UTF-8-строкой.

spoiler

Вот вам упрощённый пример. Представим, что вы переводите не в UTF-8, а в ASCII, и что главным правилом является нулевой восьмой бит. Пусть изначальная hex-строка будет FA. При переводе в ascii алгоритм видит, что это какая-то ошибка и решает исправить её, заменив на 7A (символ "z"). Далее при переводе в hex вы уже получаете 7A, а не FA, потому что информация о восьмом бите утеряна.

Можете попробовать так. Возможно, это и решит вашу проблему X:

var hex = "354d413043b4b440e1510b00";
console.log(hex);       // 354d413043b4b440e1510b00

var not_hex = (Buffer.from(hex, "hex").toString("binary"))
console.log(not_hex);   // 5MA0C´´@áQ♂

var hex_again = Buffer.from(not_hex, 'binary').toString("hex");
console.log(hex_again); // 354d413043b4b440e1510b00
console.log(hex === hex_again); // true

Comments

[Klucva]

А что мне тогда будет логичнее использовать вместо UTF-8? (я только что попробовал ascii на всякий случай, длинна нового hex не отличается, но содержимое да)

[Lynn «Кофеман»]

Klucva, а зачем вообще нужно что-то использовать? Чем вас не устраивает исходная строка или просто буфер?

[dollar]

Klucva, Проблема XY

Answer 2

[GrayHorse]

Это не байты UTF-8 строки.
Можно было и посмотреть на вывод сначала

console.log((Buffer.from(hex, "hex").toString("utf-8")));

5MA0C��@�Q

https://ru.wikipedia.org/wiki/Заменяющий_символ

[...new TextEncoder().encode("5MA0C��@�Q")].map(n => n.toString(16)).join("")
=== 
"354d413043efbfbdefbfbd40efbfbd51"
// true

Answer 3

[Квазиморд Сидорович]

В чем проблема то? Всё совпадает, если правильно делать

var hex = "354d413043b4b440e1510b00";
var not_hex = Buffer.from(hex, 'hex');
var hex_again = Buffer.from(not_hex, 'utf8').toString('hex');

console.log(hex, not_hex)
console.log(hex_again)
// выводит
// 354d413043b4b440e1510b00 <Buffer 35 4d 41 30 43 b4 b4 40 e1 51 0b 00>
// 354d413043b4b440e1510b00

идентично, символ в символ