Как восстановить коды utf8 из байтов?

Question

[historydev]

Перевёл строку в байты.
- Я уже научился восстанавливать числа из байтов, поэтому сделал ровно тоже самое для строки и по идее я должен был бы получить коды utf8.

Но при попытке в онлайн конверторе utf8 -> string, непонятная строка получается:

722585670778881811939328476741369856 -> r%�gx���(GgA6�V

Вывод программы:
[72, 25856, 7077888, 1811939328, 476741369856]

Я не силён в unicode, полагаю я чего-то не понимаю и поэтому неверно пытаюсь восстановить.

fn main() {

    let str_bytes = b"Hello";
    
    let data = str_bytes.iter().enumerate().fold(Vec::new(), |mut acc, (i, x)| {
        acc.push((*x as u64) * 256u64.pow(i as u32));
        acc
    });
    
    println!("{data:?}");
    
}

Мне нужен полностью ручной способ, без core и std.

Comments

[Maxim]

https://doc.rust-lang.org/std/str/fn.from_utf8.html

[historydev]

Maxim, Было бы всё так просто, я бы не задавал вопрос. Мне нужен полностью ручной способ, без core и std.

[Василий Банников]

historydev, ctrl+c -> ctrl+v нажать сможешь?)
https://doc.rust-lang.org/src/core/str/validations...

[historydev]

Василий Банников, Работает через сайты, если перевести в 16 систему и добавить \xN:

fn main() {

    let str_bytes = b"Hello";
    
    let data = str_bytes.iter().enumerate().fold(Vec::new(), |mut acc, (i, x)| {
        acc.push((*x as u64) * 256u64.pow(i as u32));
        acc
    });
    
    let dataX = data.iter().fold(String::new(), |mut acc, x| {
        acc.push_str(&format!("\\x{:x}", *x as u64)); // Почему-то не экранируется, а дублируется обратный слеш :/
        acc.replace("0", "")
    });
    
    println!("{dataX:?}"); // "\\x48\\x65\\x6c\\x6c\\x6f"
    
}

В целом мне этого достаточно, дальше вопрос в средстве которое прочитает utf8 и выдаст символ - это скучно.

[Дмитрий Беляев]

без core и std

но при этом Вы используете Vec, Iterator, println!, методы интов

[historydev]

Дмитрий Беляев, Имелось ввиду математическое восстановление, то есть не использовать например String::from_utf8, но здесь в нём нет необходимости как я понял.

Вот так подставить U+48 U+65 U+6c U+6c U+6f и получается тоже самое, что и \x48\x65\x6c\x6c\x6f - получается всё что нужно это перевести байты в 16 систему.

После того как изучу ответ Василий Банников, буду понимать больше.

Answer 1

[Василий Банников]

ctrl+c -> ctrl+v
Чтобы преобразовать последовательность байтов последовательность code point-ов
https://doc.rust-lang.org/src/core/str/validations...

Чтобы преобразовать последовательность code point-ов в байты (вызывать в цикле)
https://doc.rust-lang.org/src/core/char/methods.rs...

Чтобы понять, почему всё происходит именно так - читай, что такое юникод и как он кодируется в utf8

А теперь душнилово

Перевёл строку в байты.
- Я уже научился восстанавливать числа из байтов, поэтому сделал ровно тоже самое для строки и по идее я должен был бы получить коды utf8.

На самом деле, мог ошибиться уже тут. В тексте вопроса ты не оставил объяснений, как ты получил свои числа.

Но при попытке в онлайн конверторе utf8 -> string, непонятная строка получается:

Онлайн конвертер ждёт байты, а не code point-ы.

Вывод программы:
[72, 25856, 7077888, 1811939328, 476741369856]

И правильное тут только первое число (я тут уже пытаюсь угадать, что ты преобразуешь Hello в числа).
Правильно будет [72, 101, 108, 108, 111]
Делаем вывод, что преобразование строки в числа у тебя кривое.

Comments

[historydev]

В тексте вопроса ты не оставил объяснений, как ты получил свои числа.

А что тут объяснять, если на код посмотреть из трёх строк состоящий, можно увидеть что каждый байт я из 256 системы в 10 систему перевожу и получаю исходное значение.

Формула простая: (число * основание^разряд), она универсальна для всех позиционных систем счисления.
Например: 111 = 1 * 2^2 + 1 * 2^1 + 1 * 2^0 = 7

[historydev]

[72, 101, 108, 108, 111]
Это сам массив исходных байтов и при переводе в 16 систему уже всё готово, странно..
- Я думал это иначе работает.

[historydev]

Тогда достаточно такого кода:

fn main() {

    let str_bytes = b"Hello"; // [72, 101, 108, 108, 111]
    
    let data = str_bytes.iter().enumerate().fold(String::new(), |mut acc, (i, x)| {
        acc.push_str(&format!("\\x{:x}", *x));
        acc
    });
    
    println!("{data}"); // "\x48\x65\x6c\x6c\x6f"
    
}

[Василий Банников]

historydev, теперь посмотри что будет, если использовать кириллицу)

[historydev]

Василий Банников, Да-да, я уже в курсе, .as_bytes() нужно использовать, иначе ascii получается.