Как преобразовать кодировку с windows-1251 на UTF-8 в node.js?

Question

[Станислав]

Не пойму почему не работает
Есть страница с charset=windows-1251

Получаю с неё текст при помощи jsdom
�����
Пробую преобразовать

var iconv = new Iconv('windows-1251', 'UTF-8');
var x = iconv.convert(text);
console.log(x.toString());

В итоге получаю кракозябры

пїЅпїЅпїЅпїЅпїЅ

В чем может быть проблема? На странице в хедере указана кодировка именно windows-1251.

Comments

[Dimonchik]

а без Iconv что выдает?

[Станислав]

dimonchik2013: �����

Answer 1

[Артем Кустиков]

Тут проблема не с преобразованием, а с выводом utf-8 текста из ноды по Windows: https://github.com/nodejs/node-v0.x-archive/issues/2190
Если коротко: запусти в консоли chcp 65001 перед запускам процесса node.exe

Comments

[Станислав]

под linux запускается

[Артем Кустиков]

Значит входная кодировка не 1251, надо смотреть что там реально
Может gzip/deflate поток идет необработанный. Сохрани на диск и открой sublime

*test*
const Iconv = require('iconv').Iconv;
const Buffer = require('buffer').Buffer;
var iconv = new Iconv('windows-1251', 'UTF-8');
console.log(iconv.convert('АБВ windows-1251').toString());
console.log(iconv.convert(new Buffer([0xc0,0xc1,0xc2])).toString());

Должно вывести:
АБВ windows-1251
АБВ
https://www.wikiwand.com/ru/Windows-1251

[Чахонгир Тулфоров]

доброго времени вам суток! у меня похожая ситуация но модуле Iconv не устанавливается. Попробовал другие модули тоже без надежни. Не знаю в чём проблема. Помогите Артем Кустиков

Answer 2

[alias_rus]

Возникла такая же проблема при получение html через request и fetch. Нашел выход через needle

Comments

[yuraloginoff]

Помогло, спасибо! И ещё потом ответ прогнал через iconv-lite.

Answer 3

[Николай Антонов]

Как решили? Тоже такая же проблема.

Answer 4

[NickKolok]

Если нужно определять кодировку, которая неизвестна, то для кириллических текстов вот: https://github.com/nickkolok/node-autodetect-utf8-...

Answer 5

[NyoNor]

http.get(url, (stream) => {
            const w = fs.createWriteStream(`./content/${pathToFile}`);
            w.on('finish', () => {
                callback();
            });
            stream
                .pipe(iconv.decodeStream('win1251'))
                .pipe(iconv.encodeStream('utf8'))
                .pipe(w);
});

У меня работает... iconv ^0.6.3, node v14.17.1