Как перекодировать русский текст в utf-8 используя Ruby?

Question

[Пётр]

Посоветуйте пожалуйста какой нибудь гем для автоматического определения кодировки, который бы работал с русскими символами.
В качестве примера, нужно распознать кодировку и перекодировать в utf-8 текст название русской песни:
Вход: ÌÎÐÑÊÀß ×ÅÐÅÏÀØÊÀ
Выход: МОРСКАЯ ЧЕРЕПАШКА

Comments

[Vasily]

На вход подается LATIN1 или LATIN1, еще раз испорченный преобразованием в UTF8?

[Пётр]

vsadm: В том то и дело, я не знаю кодировку) , например, есть гем https://github.com/brianmario/charlock_holmes, который умеет распознавать кодировку, но как мне учитывать и язык тоже?

[Vasily]

Штука в том, что проблемы "битых" кодировок бывают двух видов (по крайней мере тех, о которых мне известно): выбрана неправильная кодовая таблица и однобайтная кодировка приведена к двух- или многобайтной при помощи неправильной кодовой таблицы. Лечатся эти случаи по-разному. Есть такая программа, enca, она умеет понимать кодировку. Если входные данные передать в latin1, то она кодировку поймет, если же в битом UTF, то не сможет. Отсюда и был мой вопрос.

[Пётр]

vsadm: Скорее всего LATIN1, еще раз испорченный преобразованием в UTF8. Данные изначально хранятся тоже в utf-8, как перевести в корректный latin1 (она же windows-1252) я не знаю.

Answer 1

[Vasily]

apt-get install enca

require 'open3'

def detect_and_convert(str)
  stdout, stderr, status = Open3.capture3('enca -c', :stdin_data => str)
  stdout
end

Comments

[Пётр]

Спасибо! Данные изначально хранятся тоже в utf-8, как перевести в корректный latin1 (она же windows-1252) я не знаю.
Сейчас detect_and_convert на выход отдает тот же текст, что и на входе ((

[Павел Бакин]

Пётр: utf8 -> latin1 -> utf8 ????

[Пётр]

Павел Бакин: Можете привести работающий пример на ruby с данным выше текстом?

[Vasily]

Разберите строку UTF8 побайтно и оставьте только четные байты. Костыль, но должен сработать.

[Павел Бакин]

Пётр: я не решение написал )
я так своеобразно спросил, как у вас получилось что данные в utf8 вы кодируете в latin1 и потом опять в utf8 ?

может проблему можно вообще не создавать, убрав шаг в преобразование в latin1 ?

[Пётр]

Павел Бакин: кодирую не я) Задача в том, что у меня есть коллекция песен, часть русских песен имеет такие вот id3 тэги (например: title: ÌÎÐÑÊÀß ×ÅÐÅÏÀØÊÀ), хочется автоматически перекодировать эти кракозябры.

[Пётр]

vsadm: Спасибо - это еще не пробовал! Есть еще решение совсем костыльное: подавать на вход www.artlebedev.ru/tools/decoder и забирать (парсить) ответ.