Почему не выводится весь текст в консоль?

Question

[12rbah]

Конвертирую текст из utf-16 в utf-8, но возникает следующая проблема, что текст целиком не отображается либо отображается со "\r". (паршу файлы под ubuntu, которые были сохранены в винде). Можно как-нибудь корректно убрать это?

//так отображается часть текста
	fmt.Printf("%v\n",binaryFIleFormat.UTF16BytesToString(bb,binary.LittleEndian))
        //если добавить # перед v то
        //так отображается весь текст, но появляются \r в разных местах
	fmt.Printf("%#v\n",binaryFIleFormat.UTF16BytesToString(bb,binary.LittleEndian))

Comments

[d'Ivan]

Желательно увидеть полный рабочий пример с текстом.

[12rbah]

func main() {

	bb := []byte{0x20, 0x0, 0x16, 0x21, 0x20, 0x0, 0x32, 0x0, 0xd, 0x0, 0x22, 0x0, 0x1e, 0x4, 0x40, 0x4, 0x33, 0x4, 0x30, 0x4}
	
	fmt.Printf("%v\n",UTF16BytesToString(bb,binary.LittleEndian))
	fmt.Printf("%#v\n",UTF16BytesToString(bb,binary.LittleEndian))
}

func UTF16BytesToString(b []byte, o binary.ByteOrder) string {
	utf := make([]uint16, (len(b)+(2-1))/2)
	for i := 0; i+(2-1) < len(b); i += 2 {
		utf[i/2] = o.Uint16(b[i:])
	}
	if len(b)/2 < len(utf) {
		utf[len(utf)-1] = utf8.RuneError
	}
	return string(utf16.Decode(utf))
}

[12rbah]

Роман Мирр, часть текста взята из файла сразу в виде слайса байт

[d'Ivan]

Кстати, если задача разовая, то можно конвертировать файл из UTF-16 в UTF-8 при помощи iconv и подобных утилит.

[12rbah]

Роман Мирр, тут скорее мне просто интересно почему не выводится часть текста в консоль без преобразований над текстом (нужно удалить []byte{0xd,0x0}, чтобы он нормально отображался).

Answer 1

[d'Ivan]

https://play.golang.org/p/9RpSsyoL4_6
Тут в совмещенном примере оба раза выводит

№ 2
"Орга

Unicode - нетривиальная вещь и можно ожидать что какая-то последовательность байтов незаконна с точки зрения стандарта.

Credits: https://gist.github.com/juergenhoetzel/2d9447cdf5c...

Comments

[12rbah]

Возможно что-то из-за особенностей ОС. Символы все равно остаются, а полный при Println полностью не выводится, хотя его стало выводится больше.

[d'Ivan]

12rbah,
окончание строки ОС-зависимо:
DOS/Windows: CR LF \r\n
UNIX, Mac OS X: LF \n
< Mac OS X: CR \r

Answer 2

[12rbah]

Можно сделать так, и текст будет отображаться, но все равно не совсем понятно почему он не отображался в консоли до этого

bb2 := bytes.ReplaceAll(bb,[]byte{0xd,0x0},[]byte{})