Как правильно парсить yml файл с кодировкой Windows-1251?

Question

[Кайрат Убукулов]

Есть файл в формате yml на удаленном FTP сервере. Нужно его правильно парсить. Есть код который работает для кодировку UTF8. Где не правильно делаю?

func DownloadPowerFile(url string) *PowerCatalog {
	list := PowerCatalog{}

	ftpClient, err := ftp.Dial(globals.GlobalSettings.FtpAddress)

	defer ftpClient.Quit()

	err = ftpClient.Login(globals.GlobalSettings.FtpUser, globals.GlobalSettings.FtpPassword)
	err = ftpClient.ChangeDir("/U16-user/")

	resp, _ := ftpClient.Retr(url) // Retr выдает команду RETR FTP для извлечения указанного файла с удаленного FTP сервера

	//sr := strings.NewReader(url)
	//tr := transform.NewReader(resp, charmap.Windows1251.NewDecoder())

	body, err := ioutil.ReadAll(resp)

	if err != nil {
		return &list
	}
	newbody := strings.Replace(string(body), "<offers>", "", -1)
	newbody = strings.Replace(newbody, "</offers>", "", -1)
	err = xml.Unmarshal([]byte(newbody), &list)
	if err != nil {
		fmt.Println(err)
		return &list
	}
	fmt.Println("OKOK")
	return &list
}

Comments

[Кайрат Убукулов]

Выходит ошибка: xml: encoding "windows-1251" declared but Decoder.CharsetReader is nil

[Abcdefgk]

Да вроде бы, в файлах *.yml нет тегов.

[Jhn Doe from by]

Кайрат Убукулов, так xml или yml, точно представляешь как они выглядят?

Answer 1

[Кайрат Убукулов]

Задача решили другим способом. Ниже предлагаю метод. Конвертация мы сделали с помощью команду линукс.

func DownloadPowerFile(url string) *PowerCatalog {
	list := PowerCatalog{}
	// скачиваем файл по ссылке и сохраняем в папку files
	err := DownloadFilePower("Powerplant_Talapai.yml", url)
	if err != nil {
		fmt.Println(err)
		return &list
	}
	var path string
	path = "/root/go-workpath/src/stocks/files/"
	// переконвертируем файл
	cmd := exec.Command("iconv", "-f", "cp1251", "-t", "utf8",  path + "Powerplant_Talapai.yml", "-o", path + "Powerplant_Talapai8.yml")
	out, err := cmd.CombinedOutput()
	if err != nil {
		fmt.Printf("cmd.Run() failed with %s\n", err)
	}
	fmt.Printf("combined out:\n%s\n", string(out))
	// из файла Powerplant_Talapai8.yml убираем строку encoding="windows-1251". Надо проверит в наличие программу SED
	cmd2 := exec.Command("sed", "-i", "s/ encoding=\"windows-1251\"//", path + "Powerplant_Talapai8.yml")

	out2, err2 := cmd2.CombinedOutput()
	if err2 != nil {
		fmt.Printf("cmd.Run() failed with %s\n", err2)
	}
	fmt.Printf("combined out:\n%s\n", string(out2))
	// открытие файла
	resp, err := os.Open(path + "Powerplant_Talapai8.yml")

	if(err != nil) {
		fmt.Println("Невозможно найти файл или открыть")
		return &list
	} else {

		defer resp.Close()

		body, err := ioutil.ReadAll(resp)

		if err != nil {
			return &list
		}

		newbody := strings.Replace(string(body), "<offers>", "", -1)
		newbody = strings.Replace(newbody, "</offers>", "", -1)
		err = xml.Unmarshal([]byte(newbody), &list)

		if err != nil {
			fmt.Println(err)
			return &list
		}

		return &list
	}
}

func DownloadFilePower(filepath string, url string) error {

	// Create the file
	out, err := os.Create("files/"+filepath)
	if err != nil {
		return err
	}
	defer out.Close()

	// Get the data
	resp, err := http.Get(url)
	if err != nil {
		return err
	}
	defer resp.Body.Close()

	// Write the body to file
	_, err = io.Copy(out, resp.Body)
	if err != nil {
		return err
	}

	return nil
}

Answer 2

[Папа Стифлера]

Для этого существует поле Decoder.CharsetReader:

// CharsetReader, if non-nil, defines a function to generate
// charset-conversion readers, converting from the provided
// non-UTF-8 charset into UTF-8. If CharsetReader is nil or
// returns an error, parsing stops with an error. One of the
// the CharsetReader's result values must be non-nil.
CharsetReader func(charset string, input io.Reader) (io.Reader, error)

Использовать можно так:

d := xml.NewDecoder(xmlFile)
d.CharsetReader = func(charset string, input io.Reader) (io.Reader, error) {
    switch charset {
    case "windows-1251":
        return charmap.Windows1251.NewDecoder().Reader(input), nil
    default:
        return nil, fmt.Errorf("unknown charset: %s", charset)
    }
}
err := d.Decode(&zlList)

https://ru.stackoverflow.com/questions/713777/gola...

Comments

[Кайрат Убукулов]

Видишь у меня файл находиться в другом FTP сервере. Соответственно перед тем как получить файл нужно к нему получить доступ.

ftpClient, err := ftp.Dial(globals.GlobalSettings.FtpAddress)

  defer ftpClient.Quit()

  err = ftpClient.Login(globals.GlobalSettings.FtpUser, globals.GlobalSettings.FtpPassword)
  err = ftpClient.ChangeDir("/U16-user/")

  resp, _ := ftpClient.Retr(url) // Retr выдает команду RETR FTP для извлечения указанного файла с удаленного FTP сервера

  //sr := strings.NewReader(url)
  //tr := transform.NewReader(resp, charmap.Windows1251.NewDecoder())

  body, err := ioutil.ReadAll(resp)

Вот код который получает доступ к файлу.

Нужно как-то с этим кодом вместе делать

[Папа Стифлера]

Ну и в чем проблема?
1. Подключаешься к удаленоному серверу.
2. Закачиваешь файл в локальную систему.
3. Парсишь и получаешь результат.

Что еще нужно?

[Александр Павлюк]

Кайрат Убукулов, просто оберни resp в CharsetReader и делай ReadAll уже на CharsetReader-е, файл перекодируется на лету.

[Кайрат Убукулов]

Александр Павлюк, Вы имеете ввиду так:

list := PowerCatalog{}
	response, err := http.Get(url)
	if err != nil {
		return &list
	} else {
		defer response.Body.Close()
		//body, _ := ioutil.ReadAll(response.Body)

		d := xml.NewDecoder(response.Body)
		d.CharsetReader = func(charset string, input io.Reader) (io.Reader, error) {
			switch charset {
			case "windows-1251":
				return charmap.Windows1251.NewDecoder().Reader(input), nil
			default:
				return nil, fmt.Errorf("unknown charset: %s", charset)
			}
		}
		body := d.Decode(&list)

		newbody := strings.Replace(string(body), "<offers>", "", -1)
		newbody = strings.Replace(newbody, "</offers>", "", -1)
		err := xml.Unmarshal([]byte(newbody), &list)
		if err != nil {
			fmt.Println(err)
			return &list
		}

		return &list
	}

[Александр Павлюк]

Кайрат Убукулов, и где у вас тут доступ к фтп?

[Кайрат Убукулов]

Александр Павлюк, Задача изменился. Теперь поставщик представить в виде ссылке к файлу.

[Кайрат Убукулов]

При парсере выходит "xml: encoding "windows-1251" declared but Decoder.CharsetReader is nil"

[Кайрат Убукулов]

Александр Павлюк, Как вы сказали resp обернул CharsetReader

list := PowerCatalog{}
	response, err := http.Get(url)
	if err != nil {
		return &list
	} else {
		defer response.Body.Close()
		//body, _ := ioutil.ReadAll(response.Body)

		//newbody := strings.Replace(string(err), "<offers>", "", -1)
		//newbody = strings.Replace(newbody, "</offers>", "", -1)
		//err := xml.Unmarshal([]byte(err), &list)
		d := xml.NewDecoder(response.Body)
		d.CharsetReader = func(charset string, input io.Reader) (io.Reader, error) {
			switch charset {
			case "windows-1251":
				content, _ := ioutil.ReadAll(response.Body)
				if err != nil {
					return nil, err
				}
				//return charmap.Windows1251.NewDecoder().Reader(input), nil
				return bytes.NewReader(bytes.ToUpper(content)), nil
			default:
				return nil, fmt.Errorf("unknown charset: %s", charset)
			}
		}
		err := d.Decode(&list)

		if err != nil {
			fmt.Println(err)
			return &list
		}

		return &list
	}

[Кайрат Убукулов]

Теперь выходит ошибка:

XML syntax error on line 1: unexpected end element </CATEGORY>

Я проверил синтаксис и все правильно.

[Александр Павлюк]

Кайрат Убукулов, а зачем убрали непосредственно перекодировку? И зачем всё ToUpper? O_o

[Кайрат Убукулов]

Александр Павлюк, Я не понял переменная content как передать в перекодировку.

Если так сделать то ругается на то что переменная content не используется.

d.CharsetReader = func(charset string, input io.Reader) (io.Reader, error) {
      switch charset {
      case "windows-1251":
        content, _ := ioutil.ReadAll(response.Body)
        if err != nil {
          return nil, err
        }
        return charmap.Windows1251.NewDecoder().Reader(input), nil
        //return bytes.NewReader(bytes.ToUpper(content)), nil
      default:
        return nil, fmt.Errorf("unknown charset: %s", charset)
      }
    }
    err := d.Decode(&list)