Почему не выводится весь текст в консоль?

Question

12rbah @12rbah

Go
Unicode

Почему не выводится весь текст в консоль?

Конвертирую текст из utf-16 в utf-8, но возникает следующая проблема, что текст целиком не отображается либо отображается со "\r". (паршу файлы под ubuntu, которые были сохранены в винде). Можно как-нибудь корректно убрать это?

//так отображается часть текста
	fmt.Printf("%v\n",binaryFIleFormat.UTF16BytesToString(bb,binary.LittleEndian))
        //если добавить # перед v то
        //так отображается весь текст, но появляются \r в разных местах
	fmt.Printf("%#v\n",binaryFIleFormat.UTF16BytesToString(bb,binary.LittleEndian))

Вопрос задан более трёх лет назад
283 просмотра

5 комментариев

Подписаться 1 Простой 5 комментариев

d'Ivan @2ord

Желательно увидеть полный рабочий пример с текстом.

Написано более трёх лет назад

12rbah @12rbah Автор вопроса

func main() {

	bb := []byte{0x20, 0x0, 0x16, 0x21, 0x20, 0x0, 0x32, 0x0, 0xd, 0x0, 0x22, 0x0, 0x1e, 0x4, 0x40, 0x4, 0x33, 0x4, 0x30, 0x4}
	
	fmt.Printf("%v\n",UTF16BytesToString(bb,binary.LittleEndian))
	fmt.Printf("%#v\n",UTF16BytesToString(bb,binary.LittleEndian))
}

func UTF16BytesToString(b []byte, o binary.ByteOrder) string {
	utf := make([]uint16, (len(b)+(2-1))/2)
	for i := 0; i+(2-1) < len(b); i += 2 {
		utf[i/2] = o.Uint16(b[i:])
	}
	if len(b)/2 < len(utf) {
		utf[len(utf)-1] = utf8.RuneError
	}
	return string(utf16.Decode(utf))
}

Написано более трёх лет назад

12rbah @12rbah Автор вопроса

Роман Мирр, часть текста взята из файла сразу в виде слайса байт

Написано более трёх лет назад
d'Ivan @2ord

Кстати, если задача разовая, то можно конвертировать файл из UTF-16 в UTF-8 при помощи iconv и подобных утилит.

Написано более трёх лет назад
12rbah @12rbah Автор вопроса

Роман Мирр, тут скорее мне просто интересно почему не выводится часть текста в консоль без преобразований над текстом (нужно удалить []byte{0xd,0x0}, чтобы он нормально отображался).

Написано более трёх лет назад

Желательно увидеть полный рабочий пример с текстом.
func main() { bb := []byte{0x20, 0x0, 0x16, 0x21, 0x20, 0x0, 0x32, 0x0, 0xd, 0x0, 0x22, 0x0, 0x1e, 0x4, 0x40, 0x4, 0x33, 0x4, 0x30, 0x4} fmt.Printf("%v\n",UTF16BytesToString(bb,binary.LittleEndian)) fmt.Printf("%#v\n",UTF16BytesToString(bb,binary.LittleEndian)) }

func UTF16BytesToString(b []byte, o binary.ByteOrder) string { utf := make([]uint16, (len(b)+(2-1))/2) for i := 0; i+(2-1) < len(b); i += 2 { utf[i/2] = o.Uint16(b[i:]) } if len(b)/2 < len(utf) { utf[len(utf)-1] = utf8.RuneError } return string(utf16.Decode(utf)) }
Роман Мирр, часть текста взята из файла сразу в виде слайса байт
Кстати, если задача разовая, то можно конвертировать файл из UTF-16 в UTF-8 при помощи iconv и подобных утилит.
Роман Мирр, тут скорее мне просто интересно почему не выводится часть текста в консоль без преобразований над текстом (нужно удалить []byte{0xd,0x0}, чтобы он нормально отображался).

Answer 1 · 2020-09-18 15:52:12

https://play.golang.org/p/9RpSsyoL4_6
Тут в совмещенном примере оба раза выводит

№ 2
"Орга

Unicode - нетривиальная вещь и можно ожидать что какая-то последовательность байтов незаконна с точки зрения стандарта.

Credits: https://gist.github.com/juergenhoetzel/2d9447cdf5c...

Почему не выводится весь текст в консоль?

Войдите на сайт