Как конвертировать с windows-1251 в utf-8?

Question

[Николай Антонов]

Пробую парсить с сайта у которого указана кодировка:

<meta http-equiv="Content-Type" content="text/html; charset=windows-1251">

С помощью модуля iconv пробую перекодировать и всеравно получаются кракозябры: пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ

Мой код:

var request = require('request');
var cheerio = require('cheerio');
var Buffer = require('buffer').Buffer;
var Iconv  = require('iconv').Iconv;
var iconv = new Iconv('CP1251','UTF-8');

request(url, function(error, response, body){
        var $ = cheerio.load(body);
        var str = $('#selector').text();

        console.log(iconv.convert(str).toString()); // кракозябры: пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ 
});

P.S. Когда пробую передать елемент с английским текстом то все правильно - отображается английский текст с правильной кодировкой.

Comments

[Виталий]

Поддерживаю, столкнулся с той же неочевидностью

[Илья]

а без перекодировки тоже кракозябры?

[Николай Антонов]

Илья: да, тоже.

[Александр]

Николай Антонов: Есть решение?

[Николай Антонов]

Александр: Да. Помогло если в request поставить заголовки правильные: request({
uri: website_url,
method: 'GET',
encoding: 'binary'
}, function (error, response, body) {
body = new Buffer(body, 'binary');
conv = new iconv.Iconv('windows-1251', 'utf8');
body = conv.convert(body).toString();
}
});

Answer 1

[Виталий]

Попробуйте вот так
установка: npm install iconv-lite

iconv = require('iconv-lite');

result = iconv.encode (iconv.decode (new Buffer (body, 'binary'), 'win1251'), 'utf8'));

Сам еще не проверял, не до этого было.

Comments

[Николай Антонов]

Тоже вместо правильной кодировки отображаются буквы - ’ээээээээ эээээээээээ ээ ээээээ эээээ ’

[Николай Антонов]

помогло если в request поставить заголовки правильние: request({
uri: website_url,
method: 'GET',
encoding: 'binary'
}, function (error, response, body) {
body = new Buffer(body, 'binary');
conv = new iconv.Iconv('windows-1251', 'utf8');
body = conv.convert(body).toString();
}
});

[Виталий]

Николай Антонов: все равно как-то неявно это все.

[Николай Антонов]

Виталий: да, я согласен. Ето же node.js

[kelati]

Прошел год. Что-нибудь изменилось?

Answer 2

[Ilya]

Вот тут подсказывают такое решение:

body = new Buffer(body, 'binary');
conv = new iconv.Iconv('windows-1251', 'utf8');
body = conv.convert(body).toString();

Comments

[Виталий]

Оно работает? Короче все надо в буффер сперва переводить, зачем такие сложности.... мой пример не тестировали? Кстати иконв в виндовс версии не пашет, ругается, компилятор ему дай...

[Николай Антонов]

Не помогло, вместо текста буквы ’ээээээээ эээээээээээ ээ ээээээ эээээ (эээээ):’

[sm_development]

Спасибо. Никак не мог понять, без буфера binary не работало.