Кодировка при чтении файлов в Ruby

Question

[DarkCoder]

Задача подсчёта количества слов в файле, подскажите пожалуйста как правильно настроить кодировку в File.read() чтобы русский читался нормально.
код:

def words_from_string(string)
  string.downcase.scan(/[\w']+/)
end

def count_frequency(word_list)
  count = Hash.new(0)
  word_list.each {|word| count[word] += 1 }
  count
end

raw_text = File.read("text.txt") #, encoding: Encoding::UTF_8) #, encoding: "cp1251")
p raw_text

word_list = words_from_string(raw_text)
p word_list

counts = count_frequency(word_list)
p counts

sorted = counts.sort_by { |word, count| -count }
p sorted

top_five = sorted.last(5)
p top_five
top_five.each { |word, count| puts "#{word} #{count}" }

Answer 1

[sl_bug]

Какой версии руби?

open(«data.txt», «w:UTF-16LE») например

Comments

[DarkCoder]

Версия 1.9.2-p180

[DarkCoder]

f = File.open("text.txt", "w:utf-8")
raw_text = f.gets

C:/Soft/Ruby/WordsFrequency/lib/main.rb:13:in `gets': not opened for reading (IOError)
from C:/Soft/Ruby/WordsFrequency/lib/main.rb:13:in `'

[sl_bug]

логично, потому что флаг 'w' стоит. 'r:utf-8' поможет

[DarkCoder]

уже допетрил, но всё равно выдаёт каракули как и было без указания кодировки явно, она ведь дефолтная, text.txt точно в UTF-8, ничего не понимаю…

f = File.open("text.txt", "r:utf-8")
raw_text = f.gets
p raw_text.encoding
p raw_text

#<Encoding:UTF-8>
"Здравствуйте, уважаемые читатели. Я продолжаю свою серию постов про распределенную систему контроля версий Mercurial. В этой статье мы подробно поговорим об основных приемах организации ветвлений в Mercurial."


[sl_bug]

а файл точно в утфе, а не в цп1251?

[sl_bug]

мне все таки кажется что r:cp1251 поможет

[DarkCoder]

и в цп1251 переводил, там другая история:

f = File.open("text_ascii.txt", "r:windows-1251")
raw_text = f.gets
p raw_text.encoding
p raw_text

#<Encoding:Windows-1251>
"\xC7\xE4\xF0\xE0\xE2\xF1\xF2\xE2\xF3\xE9\xF2\xE5, \xF3\xE2\xE0\xE6\xE0\xE5\xEC\xFB\xE5 \xF7\xE8\xF2\xE0\xF2\xE5\xEB\xE8. \xDF \xEF\xF0\xEE\xE4\xEE\xEB\xE6\xE0\xFE \xF1\xE2\xEE\xFE \xF1\xE5\xF0\xE8\xFE \xEF\xEE\xF1\xF2\xEE\xE2 \xEF\xF0\xEE \xF0\xE0\xF1\xEF\xF0\xE5\xE4\xE5\xEB\xE5\xED\xED\xF3\xFE \xF1\xE8\xF1\xF2\xE5\xEC\xF3 \xEA\xEE\xED\xF2\xF0\xEE\xEB\xFF \xE2\xE5\xF0\xF1\xE8\xE9 Mercurial."


[sl_bug]

ну тогда файл в студию. посмотрим

[DarkCoder]

может какого гема не хватает, или у меня ошибка ДНК (

[DarkCoder]

text.txt (UTF-8)
text.txt (win-1251)

[sl_bug]

с утфом все работает, у вас каракули потому что винда. консоль то утф не понимает. во втором случае получаю тоже самое что и вы, если не поменять локаль терминала. но в любом случае конвертация происходит. вывод просто кривой. так что смело можете работать со строкой в памяти.

Answer 2

[DarkCoder]

Отлично я уже на шаг ближе! )
между p и puts есть некоторая разница:

f = File.open("text_ascii.txt", "r:windows-1251")
raw_text = f.gets
puts raw_text.encoding
puts raw_text

Windows-1251
Здравствуйте, уважаемые читатели. Я продолжаю свою серию постов про распределенную систему контроля версий Mercurial.

Только регекспа русские слова не принимает (

Comments

[DarkCoder]

в utf-8 всё равно каракули на puts

[sl_bug]

ответ почему каракули в утфе смотрите выше

[DarkCoder]

Спасибо, а вышеприведённая регэкспа должна русский брать?

[sl_bug]

вам регулярку тоже нужно в нужную кодировку перевести. метод encode для строки есть

[DarkCoder]

Спасибо вам большое!