Как перегнать буфер в строку?

Question

[Глеб Лукашонок]

Всем приветики! После такого запроса к базе данных:

Firebird.attach(options, function(err, db) {

    if (err)
        throw err;

    db.query('SELECT USERNAME FROM USERS', function(err, result) {
        console.log(result)
        db.detach();

    });
});

Консоль выдаёт следующее:

Как получить нормальный текст? Строку... А не буфер. Или можно как-то преобразовать? Подскажите пожалуйста.
Спасибо!

Answer 1

[Роман]

если кодировка строки, лежащей в буфере UTF-8 или UTF-16 то
так Buffer.toString
или так String decoder

есликонсоль не поддерживает utf то для вывода можно использовать Buffer.transcode

Comments

[Глеб Лукашонок]

Роман, а можете привести пример как это сделать? :)

[Роман]

Глеб Лукашонок, скиньте содержимое буфера выводимое в консоль текстом

[Глеб Лукашонок]

Роман,

[
  { USERNAME: <Buffer cf ee eb fc e7 ee e2 e0 f2 e5 eb fc> },
  { USERNAME: <Buffer 74 65 73 74> },
  { USERNAME: <Buffer 74 65 73 74 33> }
]

[Роман]

Глеб Лукашонок, ловите

const temp = [
    {codemap: "ascii", data: [0xcf, 0xee, 0xeb, 0xfc, 0xe7, 0xee, 0xe2, 0xe0, 0xf2, 0xe5, 0xeb, 0xfc] },
    {codemap: "utf8", data: [0x74, 0x65, 0x73, 0x74] },
    {codemap: "utf8", data: [0x74, 0x65, 0x73, 0x74, 0x33] }
];

function test(a){
    const buf = Buffer.from(a.data);
    console.log(buf.toString(a.codemap));
}

temp.forEach(a=>{
   test(a);
});

// выведет:
// Onk|gnb`rek|
// test
// test3

Самое интересное что

{ USERNAME: <Buffer cf ee eb fc e7 ee e2 e0 f2 e5 eb fc> }

похоже имеет кодировку ascii (и точно не utf8)

а { USERNAME: <Buffer 74 65 73 74> } и { USERNAME: <Buffer 74 65 73 74 33> } имеют кодировку utf8.

в идеале, прежде чем все это декодировать, вам бы разобраться почему имена пользователей попали к вам в разных кодировках, иначе будете в последствии ловить лаги с кодировками

[Роман]

Глеб Лукашонок, так, разобрался, все еще хуже чем я думал))))

первый пользователь у вас в кодировке win1251, остальные в utf8.

вот пример декодирования и вывода (требует установки iconv-lite)

iconv = require('iconv-lite');

const temp = [
    {codemap: "win1251", data: [0xcf, 0xee, 0xeb, 0xfc, 0xe7, 0xee, 0xe2, 0xe0, 0xf2, 0xe5, 0xeb, 0xfc] },
    {codemap: "utf8", data: [0x74, 0x65, 0x73, 0x74] },
    {codemap: "utf8", data: [0x74, 0x65, 0x73, 0x74, 0x33] }
];

function test(a){
    let buf = Buffer.from(a.data);

    if(a.codemap != "utf8"){
        console.log(iconv.decode(buf, a.codemap) );
    }else{
        console.log(buf.toString());
    }
}

temp.forEach(a=>{
   test(a);
});

// на выходе:
// Пользователь
// test
// test3

Настоятельно рекомендую привести все используемые данные в кодировку utf8, если же данные из внешних источников, то контролируйте кодировку и приводите ее к utf8 на стадии получения данных. Если данные вы получаете аяксом, то укажите в заголовке запроса что хотите получать данные в utf8/.

[Глеб Лукашонок]

Роман, Роман, спасибо. Вы пролили свет на мою проблему. Дело в том что я забираю данные из БД Firebird. И вот они приходят в такой кодировке. Я пробовал через Python - там всё идеально. А в JS оно падает в буфер, который ещё надо преобразовать. Первый пользователь в кодировке win1251 потому что на русском. Вообще эту базу данных наполняет программа СКУД, которая была написана ещё в 2000г. Я просто решил сделать, "переписать" на веб-интерфейс. xD xD xD Наверное буду делать скрипт опроса БД на Python и через JSON скармливать NODE. И может подскажите ещё вопросик? Как вам такой вариант? Брать данные из Firebird и перегонять в MySQL. Или это шило на мыло? Ещё раз спасибо за адекватную помощь!

[Роман]

Глеб Лукашонок, странно, ведь utf8 поддерживает все языки, включая и русский. В вашем случае надо определять кодировку в момент получения данных из бд и приводить к utf. Как вариант, можно попробовать в самой БД заменить русские имена пользователей на их utf8 варианты, но тут могут возникнуть проблемы если планируется дальнейшее совместное использование СКУД и вашей вебки.

[Роман]

Глеб Лукашонок, нет смысла гонять данные из одной бд в другую.

[Роман]

Глеб Лукашонок, гонять через питон тоже не лучший вариант, хотябы потому, что использование 2х ЯП усложнит развертку приложения. Лучше просто в ноде на момент получения данных из БД делать нужные проверки и преобразования

[Роман]

Глеб Лукашонок, и вот еще мысль - странно что вы данные из БД аолучаете в виде буфера. Каким модулем пользуетесь для этого? Нет ли у него настроек или альтернатив решающих проблему?

[Роман]

Глеб Лукашонок, и вот еще мысль, попробуйте для всех текстовых данных от fb делать преобразование

Firebird.attach(options, function(err, db) {

    if (err)
        throw err;

    db.query('SELECT USERNAME FROM USERS', function(err, result) {
        const res = result.map(buf=>{
            return {
                 buf: buf.USERNAME
                 text: iconv.decode(buf.USERNAME, "win1251");
            };
        });
        console.log(res);
        db.detach();

    });
});

Если будет корректно работать для русского и английского текста, то это решит ваши проблемы с получением данных.

[Глеб Лукашонок]

Роман, Роман, где обозначить этот text: что бы не было такой ошибки?

[Роман]

Глеб Лукашонок, сори, набивал на телефоне, накосячил с запятыми и ;

Firebird.attach(options, function(err, db) {

    if (err)
        throw err;

    db.query('SELECT USERNAME FROM USERS', function(err, result) {
        const res = result.map(buf=>{
            return {
                 buf: buf.USERNAME,
                 text: iconv.decode(buf.USERNAME, "win1251")
            };
        });
        console.log(res);
        db.detach();

    });
});

[Глеб Лукашонок]

Роман, вот что в итоге получилось и решило задачу:

Firebird.attach(options, function(err, db) {

    if (err)
        throw err;

    db.query('SELECT USERNAME FROM USERS', function(err, result) {
        const res = result.map(buf=>{
            return {
                 buf: buf.USERNAME,
                 text: iconv.decode(buf.USERNAME, "win1251")
            };
        });
        for (let users of res) {
            console.log(users.text);
          }
        db.detach();

    });
});

Но без вашей помощи я бы не сделал! Спасибо огромное!

[Глеб Лукашонок]

Роман, возник ещё вопрос. Всё работает с БД на 3 пользователя. А когда пустил скрипт по "боевой" базе на 1800 пользователей - просто ничего не происходит xD жду по 5 минут, 0 вывода в консоль. :(

[Роман]

Глеб Лукашонок, на самом деле, помимо USERNAME могут быть и другие поля в БД содержащие текст (в том числе и русский), А поэтому, чтобы не писать для каждой переменной расшифровку буфера, можно сделать так.

// расшифровывает поля из списка fields если они присутствуют в объекте data
// data - либо объект с полями, либо массив таких объектов
// fields - список полей (ключей) содержимое которых надо декодировать
function fbDecode(data, fields){
   if (Array.isArray(data)) {
      // если массив, то декодируем его элементы
      return data.map(d=>fbDecode(d, fields);
   }else if ( typeof data)) {
      // если объект, то делаем его копию и в ней декодируем те его свойства, которые есть в fields
      return Object.keys(data).reduce((a,k)=>{
           if (fields.includes(k)) {
              a[k] = iconv.decode(data[k]);
           }else{
              a[k] = data[k];
           }
           return a;
      },{});
   } else {
       // во всех остальных случаях просто возвращаем то что в data
       return data;
   }
}

Firebird.attach(options, function(err, db) {
    if (err)
        throw err;
    // далее ЛЮБОЙ ВАШ ЗАПРОС В БД, РЕЗУЛЬТАТОМ КОТОРОГО БУДЕТ ОБЪЕКТ С ДАННЫМИ ТРЕБУЮЩИМИ ДЕКОДИРОВАНИЯ ИЛИ МАССИВ ТАКИХ ОБЪЕКТОВ
    // например для запроса SELECT USERNAME FROM USERS в result будет массив с объектами вида
    // [
    //    {USERNAME: <буфер с данными>},
    //    {USERNAME: <буфер с данными>},
    //    и т.д.
    // ]
    // и декодировать нужно как-то так var res = fbDecode(results, ['USERNAME'] ) в результате чего в res получим что то типа
     // [
    //    {USERNAME: 'testuser1'},
    //    {USERNAME: 'пользователь'},
    //    и т.д.
    // ]
    //
    // а для запроса SELECT ID, USERNAME, INFO FROM USERS в result будет массив с объектами вида (это для примера, в вашей таблице USERS может и не быть полей ID и INFO)
    // [
    //    {ID: 12345, USERNAME: <буфер с данными>,  INFO: <буфер с данными>},
    //    {ID: 67890, USERNAME: <буфер с данными>,  INFO: <буфер с данными>},
    //    и т.д.
    // ]
    // и декодировать нужно как-то так var res = fbDecode(results, ['USERNAME', 'INFO'] ) в результате чего в res получим что то типа
     // [
    //    {USERNAME: 'testuser1', INFO: 'bla-bla-bla'},
    //    {USERNAME: 'пользователь', INFO: 'это Вася, он баран)))'},
    //    и т.д.
    // ]
    // соответсвенно, к декодированным данным можно будет обращаться так:
    // res[0].USERNAME // testuser1
    // res[1].INFO           // это Вася, он баран)))
    // ну или как у вас через цикл
    //   for (let user of res) {
    //        console.log(user.ID, user.USERNAME, user.INFO);
    //  }

    db.query('SELECT USERNAME FROM USERS', function(err, results) {
        const res = fbDecode(results, ['USERNAME'] )
        for (let user of res) {
            console.log(user.USERNAME);
        }
        db.detach();

    });
});

[Роман]

Глеб Лукашонок,

возник ещё вопрос. Всё работает с БД на 3 пользователя. А когда пустил скрипт по "боевой" базе на 1800 пользователей - просто ничего не происходит xD жду по 5 минут, 0 вывода в консоль. :(

Тут не подскажу, но 1800 пользователей - это не о чем, даже с учетом декодирования все должно проскочить за доли секунды. Но все же попробуйте перед декодированием сделать вывод в консоль не декодированных данных, вдруг там случаются элементы массива не объекты а null или undefined

[Роман]

Глеб Лукашонок, мне бы удаленный доступ к БД, чтобы я сам мог скрипт подергать, но кто же в здравом уме и трезвой памяти даст такой доступ к боевой БД)))

[Глеб Лукашонок]

Роман, без вопросов. Я могу дать доступ по TV. Только это копия боевой базы, так что ничего испортить там нельзя. А на счёт кражи личных данных я не волнуюсь - все паспортные данные удалены, там только ФИО и должность xD

[Роман]

Глеб Лукашонок, если есть телеграм, заходите туда (найдете меня в https://telegram.me/ChatCombats) у меня сейчас как раз пол часика времени есть