Как определить кодировку id3-тега?

Question

[deadvip]

Имеется два mp3 файла для теста с тегами в Latin1, UTF-8 соответственно. Пытаюсь считать их:

System.out.println(id3v2Tag.getAlbum());

Вывод:

?????????? ????????: ???????? ?? ??? ???????
Эльфийская Рукопись: Сказание На Все Времена

Считываю так:

System.out.println(new String(id3v2Tag.getAlbum().getBytes("Latin1")));

Вывод:

Эльфийская Рукопись: Сказание На Все Времена
?????????? ????????: ???????? ?? ??? ???????

В эксплорере windows и плеерах оба тега выводятся нормально. Как они определяют кодировку?

И еще вопрос — почему вместо кракозяб выводятся знаки вопроса? Как jvm определяет что вывод некорректен и следует его заменить на знаки вопроса? Можно ли определить это в коде?

UPD: Действительно, первый файл был в cp1251, но тогда непонятно почему код:

System.out.println(new String(id3v2Tag.getAlbum().getBytes("Latin1")));

работает ок. Наверное, косяки в библиотеке, которую я юзаю для считывания тегов.

Answer 1

[yupic]

Поясню почему работает System.out.println(new String(id3v2Tag.getAlbum().getBytes(«Latin1»))).

Как я понимаю, вы используете некую библиотеку, которая умеет читать id3-теги.
Эта библиотека из файла читает сырой массив байт. Ей надо преобразовать байты в строку, для этого надо воспользоваться какой-то кодировкой. В идеале, эту кодировку надо бы задавать в настройках библиотеки. Но если кодировка не задана, то, видимо, используется Latin1.
Так вот, библиотека преобразует байты в строку с помощью Latin1. Происходит это так, берётся некий байт, ему ставится в соответствие некий символ и он сохраняется в строке. Например, считали байт, представляющий букву «А» в кодировке windows-1251, а в Latin1, этому байту будет сопоставлен какой-нибудь "Õ". Если вы преобразуете такую строку в массив байт, используя UTF-8 и запишете байты в файл, то при просмотре файла в UTF-8 вы не увидите русских букв.
Далее, вы хотите распечатать строку, для этого вы преобразуете её в байты используя Latin1. Символу "Õ" сопоставляется байт, который в windows-1251 представляет букву «А». Потом из этих байт опять создаётся строка, при этом используется системная кодировка по умолчанию — windows-1251. В результате, из байта получается символ «А», как и было задумано, и эта строка корректно выводится на экран.

Как поступить: в 1-м комменте дали ссылку на нужную вам библиотеку. Вам надо получать теги в виде массива байт, и преобразовывать их в строки, используя определённую juniversalchardet кодировку. Если библиотека для работы с MP3 не позволяет получить теги в виде массивов байт, то преобразовывать возвращаемые ей значения в байты используя Latin1, а лишь потом определять кодировку и создавать строки.

Comments

[yupic]

Ещё вариант: библиотека умеет отличать однобайтовую кодировку от UTF-8. Если теги в UTF-8, то библиотека читает их нормально. Если в windows-1251, то читает как Latin1. Если сделать такое предположение то вот что получается:
1. System.out.println(id3v2Tag.getAlbum());
В этом варианте, UTF-8 тег считался нормально, а 1251 считался как Latin1. При выводе, строки преобразуются в windows-1251. Поэтому 1-й тег преобразовался в ?, так как символам из Latin1 не нашлось подходящих в windows-1251. А 2-й тег преобразовался нормально, так как использовалась правильная кодировка.

2. System.out.println(new String(id3v2Tag.getAlbum().getBytes(«Latin1»)));
Почему корректно вывелся тег из 1-го файла описывал выше. Со вторым вышли ?, так как была сделана попытка преобразовать русские буквы в Latin1, а им нет соответствия в этой кодировке, поэтому все русские буквы заменились на ?, а пробел и двоеточие нет.

3. По идее, System.out.println(new String(id3v2Tag.getAlbum().getBytes(«cp1251»)) должно нормально сработать для 2-го файла, а с 1-м выдаются ?, так как символам вроде "Õ" нет подходящих символов в 1251.

[deadvip]

Все так и есть. Большое спасибо за развернутый ответ.

Answer 2

[S1ashka]

code.google.com/p/juniversalchardet/

Answer 3

[Алексей Гусейнов]

Что-то вы путаете. В кодировке latin1 нет кириллических символов. Скорее всего там cp1251.
Знаки вопроса выводятся вместо непечатных символов, которые могут иметь специальное значение и нарушить нормальную работу терминала. Безопаснее вывести знаки вопроса, тем более что смысла в бинарных крякозябрах вы много не увидите.

В эксплорере windows и плеерах оба тега выводятся нормально. Как они определяют кодировку?

С помощью магии. Анализируют ичпользуемые символы, частоты их появления, устойчивые комбинации символов. Самые продвинутые плееры просто считают, что теги в UTF-8, а все, кто хранят их в другой кодировке глубоко неправы. Лучше всего пользоваться как раз такими плеерами. Проблем меньше будет.

Comments

[deadvip]

Действительно, в latin1 нет кириллических символов. Ну тогда я окончательно запутался — в первом треке менял тег через эксплорер windows (т.е. думаю что пишется в cp1251), но код:

System.out.println(new String(id3v2Tag.getAlbum().getBytes("cp1251"))

выдает знаки вопроса, а если поменять на Latin1 — ок.

Answer 4

[vsespb]

Наверное getBytes(«latin1») просто ничего не перекодирует, поэтому оно отображается в нативной windows кодировке.

Отличить ut8 от win1251 можно наверное без всякой магии. Русская буква в 1251 не будет являтся валидным utf8 символом. А вот отличить однобайтовые кодировки — нужен частотный анализ.