Как правильно избавиться от ошибки Invalid byte sequence in utf-8 ?

Question

[Shaks]

Описание проблемы:

Беру к примеру 2 линка
1. xttp://www.ariatender.com/beta/
2. xttp://www.ariatender.com/beta/tender-by-category.php
По средством джема Mechanize дергаю каждый из них в порядке очереди. Контент каждой из полученных страниц я обрабатываю регулярками, отсекаю хтмл тэги, весь мусор, и оставляю чистый текст.
Проблема состоит в том, что по линку №1 всё ок. А на линке №2 у меня вылазит ошибка Invalid byte sequence in utf-8 как только я пытаюсь прикоснутся к контенту страницы gub'ом или split'ом

Меры которые я предпринимал и что из этого получилось:

force_encoding('utf-8') # ошибка остается
encode('UTF-8', 'UTF-8', invalid: :replace, undef: :replace, replace: '') # ошибка остается
encode('UTF-8', invalid: :replace, undef: :replace, replace: '') # творится что-то мне непонятное. Почему-то вся арабская абракадабра чудесным образом исчезает, хотя я ожидал что исчезнут только проблемные байты и дадут мне спокойно работать.

Если ты не против помочь разобраться в вопросе, писанина снизу для тебя.

require 'mechanize'
require 'logger'

pages = ['http://www.ariatender.com/beta/', 'http://www.ariatender.com/beta/tender-by-category.php']
agent = Mechanize.new
agent.user_agent_alias ='Mac Safari'
agent.log = Logger.new(File.join(File.dirname(__FILE__), 'log.txt'))


pages.each do |page|
	begin
		agent.log.debug("Page: #{page}")
		content = agent.get(page)
		enc = content.body.force_encoding('utf-8')
		agent.log.debug("Content: #{enc}")
		striped_tags = enc.gsub(/<[^>]+?>/m, ' ')
		agent.log.debug("Modify content: #{striped_tags}")
	rescue
		agent.log.error($!.message)
		agent.log.error($!.backtrace.join("\n"))
	end
end

Answer 1

[Shaks]

Решил вопрос через глубокий анус, как у меня к сожалению часто бывает.
Т.к. у меня упорно не получалось пользоваться :invalid=>:replace, :undef=>:replace (менялись все символы не попадающие в ascii) пришлось сделать это самому. Я пробежался по каждому символу строки, и отсек невалидные символы.

source.each_char do |char|
	enc_char = char.force_encoding('utf-8')
	if enc_char.valid_encoding?
		content << enc_char
	else
		log.debug(char) 
	end
end

Если у когото есть более изящное решение, буду признателен если поделитесь.

Comments

[zeka10000]

Даже это не работает. Сейчас опробовал в таком коде

elsif command[0] == "/enemy"
    if command[1] == "rename"
      if command[2] != nil  #ID
        if command[3] != nil  #Name
          command[3].encode("utf-8")
          i = command[2].to_i
          if enc_char.valid_encoding?
            content << enc_char
          else
            log.debug(char) 
          end
          $data_enemies[i].name = command[3].to_s
          puts i.to_s + "-ый враг переименован в " + command[3].to_s
        else
          puts "Не правильна введена команда. Введите /help enemy, чтобы узнать подробности" 
        end
      else
        puts "Не правильна введена команда. Введите /help enemy, чтобы узнать подробности" 
      end

Answer 2

[Marat Amerov]

content = agent.page.root.serialize(encoding: "utf-8")

Comments

[Shaks]

@amerov нет. у меня прежняя ошибка, ничего не изменилось

[Marat Amerov]

agent.get(page).root.serialize(encoding: 'UTF-8')

[Shaks]

@amerov я понял, не совсем дурак. Не работает.
Версия руби 2.0.0