Как получить правильный ответ при парсинге?

Question

[nezzard]

Добрый день, пытаюсь парсить kinopoisk через request, когда вытаскиваю название фильма, получаю в ответ
'������'
'������'
Как получить правильный ответ?

Comments

[Dark Hole]

И как вы парсите?

[nezzard]

Dark Hole: https://toster.ru/answer?answer_id=962572#answers_...

[Aves]

nezzard: Content-Type:text/html; charset=WINDOWS-1251
нужно перекодировать в utf-8

[nezzard]

Aves: пытался прописать в options encoding: 'utf8', но ничего не помогло

[Aves]

nezzard: сервер отдаёт html в кодировке cp1251, нужно перекодировать ответ в кодировку utf-8, например с помощью https://www.npmjs.com/package/iconv-lite

[nezzard]

Aves: Прописывал вот так iconv.decode(htmlString, 'utf8'); не помогло, скорее всего я что-то прописываю не так

[Aves]

nezzard: надо буфер получаемый перекодировать, а не уже полученную из него строку в utf8

[nezzard]

Aves: Установил request-buffer прописал htmlString.buffer = new requestBuffer(htmlString); htmlString = iconv.decode(new Buffer([htmlString]), 'utf8'); Безрезультатно

[Aves]

nezzard: соболезную

[nezzard]

Aves: В общем когда делаю консоль лог iconv.decode(htmlString, 'win1251') я вижу нормальную кодировку, но как только после этого делаю $ = cheerio.load(result); и вывожу то, что нужно, то получаю опять бяку

[nezzard]

Aves: decodeEntities: false помог

Answer 1

[nezzard]

var options = {
			    method: 'GET',
			    uri: 'https://www.kinopoisk.ru/index.php?first=no&what=&kp_query='+encodeURIComponent(filmName),
			    json: true
			};

			rp(options)
			    .then(function (htmlString) {        
			        $ = cheerio.load(htmlString);
			        var poster = $('.most_wanted>.pic>a>img').attr('title');
			        var title = $('.most_wanted>.info>.name>a').html();
			        console.log(title );
			        var filmData = new Array({poster: poster, title: title});
			        resolve(filmData);
			    })
			    .catch(function (err) {
			        // Crawling failed... 
			});