Как заменить utf8 символы?

Question

[Анатолий]

Здравствуйте!
Текст кишит юникодом. Нужно мультибайтные символы "сбросить" или ресетнуть. Например ā в а. Как это правильно сделать?

Я так понимаю символ "a" основной, а крыжик сверху дополнительный. Возможно, можно как-то отсечь дополнительные символы от основного.

Если конвертировать кодировку строки то будет не bar, а b?r

Answer 1

[Rsa97]

Я так понимаю символ "a" основной, а крыжик сверху дополнительный. Возможно, можно как-то отсечь дополнительные символы от основного.

Неправильно понимаете. Символ ã - это отдельная буква в португальском алфавите, в Unicode - U+00E3 Latin small letter a with tilde. Далеко не факт, что вместо неё можно корректно использовать букву a.
А в чём вообще цель такой конвертации? Не проще ли работать в utf-8?
Если это реально необходимо, то посмотрите эту статью: https://habrahabr.ru/post/45489/

Comments

[Анатолий]

По вашей ссылке на хабр, я все таки правильно понимаю ))

В Unicode одна и таже сложная буква типа «Ç» может быть представлена в двух формах: в виде единой буквы и в виде базовой буквы («C») и модификаторов.

Спасибо! позже попробую реализовать, что там написано. Отмечу решением.

[Rsa97]

Анатолий: Да. Оба варианта, в принципе, равноправны.

Answer 2

[Stalker_RED]

Я так понимаю символ "a" основной, а крыжик сверху дополнительный.

Неправильно вы понимаете, это один символ

ā	257
U+101
LATIN SMALL LETTER A WITH MACRON

Можно посмотреть здесь, например: xahlee.info/comp/unicode_index.html

Можете воспользоваться iconv, но желательно знать исходную кодировку.

$result = iconv('Windows-1251', 'ASCII//TRANSLIT', $src);
$result = iconv('UTF-8', 'ASCII//TRANSLIT', $src);

Answer 3

[Дмитрий]

Правильно понимаете.
Осталось понять, для чего вам это нужно. Вероятно, вы хотите поиск реализовать? Типа ищешь 'а', при этом матчится 'ā'? Других вариантов не могу придумать...

Если так, то достаточно при поиске использовать форму декомпозиции NFKC с последующей канонической рекомпозицией. Она проводит рекомпозицию по правилам совместимости, будут матчиться даже те глифы, которые визуально не похожи на исходный. Т. е. когда в языке может заменяться один символ на абсолютно другой, но при этом иметь то же самое значение.

Если нужно "просто снять крыжечку", то используйте обычную каноническую декомпозицию NFD. Она разберёт всё на составные части. Потом нужно пройтись снова по массиву и очистить диакритику, т. е. можно взять категории Lu и Ll, если у вас чистый текст, либо очистить от Mn будет достаточно.

Пример на Питоне:

>>> import unicodedata
>>> unicodedata.decomposition(unicodedata.lookup('LATIN SMALL LETTER A WITH MACRON'))
'0061 0304'
>>> unicodedata.decomposition(unicodedata.lookup('LATIN SMALL LETTER A WITH TILDE'))
'0061 0303'

Comments

[Анатолий]

Верно понимаете, нужен поиск. Исходные статьи с юникодом, чтобы не напрягать поисковую систему, я пересохраню статьи без этих символов.
Сейчас займусь реализацией, в ответе выше, по ссылке на хабр есть реализация на C/C++, Java и PHP.

[Анатолий]

На php, я разложил мультибайтовые символы, на выводе ни чего не поменялось, видимо за счет локали. Когда конвертирую кодировку, получаю не "b?r" как раньше, а "ba?r", понятно, диакритику нужно очистить, не понятно как.

т. е. можно взять категории Lu и Ll, если у вас чистый текст, либо очистить от Mn будет достаточно.

Можно немного подробнее: Lu, Li, Mn?

[Дмитрий]

Анатолий:

Когда конвертирую кодировку

Нормализация никак не может влиять на кодировку, как и кодировка на нормализацию, она применяется к сырым кодюнитам.

Можно немного подробнее: Lu, Li, Mn?

Это категории символов из UnicodeDatabase: uppercase, lowercase и nonspacing mark (та самая диакритика).

У вас ещё одна будет проблема, как минимум: нужно обрабатывать case-folding. Т.е. если пользователь ввёл нижний регистр, то игнорируем его. Если верхний, то учитываем. Если с диакритикой ищет, то тоже учитывать. По крайней мере, так стандарт рекомендует, как вы сделаете, уж не знаю.

Если у вас нет таких требований, просто разложите в декомпозицию, а потом итерируйтесь по кодпоинтам и смотрите на их категории, игнорируйте ненужные категории, и т. п.
В общем, пока я вашу задачу не знаю, может быть масса вариантов. Юникод — просто штука довольно объёмная, хоть и не сложная, как многие считают.

[Анатолий]

Дмитрий:
Задача убрать мултибайтовые символы из материала, чтобы не усложняли жизнь. Диакритика не нужна.

Базу символов юникода, я не нашел.
Про конвертацию кодировки. После нормализации остается однобайтный символ и символ юникода, я не нашел способ очистить строку от этого "мусора". После конвертации кодировки, эти символы выдаются как знаки вопроса, в принципе, теперь можно регулярным выражением убирать знаки вопроса, но они могут быть на конце, где может находиться законный знак вопроса по тексту. Регулярка сложная получится...

[Дмитрий]

Задача убрать мултибайтовые символы из материала

Тогда это никак не связано с нормализацией. Мультибайтовость — это свойство конкретной кодировки, а не Юникода в целом. Вы её убрать не сможете никак, если кодировка использует мультибайтовые последовательности, значит ей это нужно. Например, русский алфавит в UTF8 будет мультибайтовым всегда, независимо от диакритики и неитерируемых глифов.

Вы же, вроде, говорили, что нужен поиск? Для поиска не нужно ничего делать с перекодировками и мультибайтовостью.

Базу символов юникода, я не нашел.

А вам и не нужно о ней ничего знать, её использует та библиотека, которую вы используете для обработки Юникода. Руками всё это писать нереально, там слишком громадные объёмы.

[Анатолий]

Вы создаете впечатление умного человека, но в то же время не можете понять что мне нужно. Мультибайт, это значит не один байт и не два, а мульти. Например мультимедиа, это не только mp3, но и avi, и т.п. предположим.
По аналогии, мне нужно конвертировать в моно аудиодорожку, не 5.1, не стерео и долби, а моно.
Еще раз, из основного поста

Например ā в а

Я прошу вас не придираться к моему опыту работы с этим вопросом. Я могу чего-то не так сказать или перепутать. Однако, я стараюсь говорить очевидные вещи, простым языком.
Сейчас я нормализовал ā в а?. Осталось убрать диакритику.

Делаю, это на php, c другими языками я не работал.

А вам и не нужно о ней ничего знать, её использует та библиотека, которую вы используете для обработки Юникода.

Копаюсь, но не могу найти. Normalize есть, но как убрать лишнее, пока не понятно.

[Дмитрий]

Анатолий: ну, потому что вы путаете понятия. Я же не могу знать, что у вас на уме.
Utf-8 по умолчанию мультибайтовая. Либо вам нужна другая кодировка для этого, либо вы путаете мультиьбйтовость с чем-то другим.
Т. е.. если вы даже очистите диакритику у кириллицы, например, она все равно останется мультибайтовой ибо того требует спецификация.

Опишите задачу чуть подробнее в вашем контексте, может быть, будет проще понять

[Анатолий]

Есть парсер, который собирает статьи.
На данном этапе бэк и фронт еще пилятся. Мне необходимо в файлы сохранить статьи. Имя файла, это тег тайтл, где встречаются символы с диакритикой.
Имя файла я не могу задать как есть, мне нужно убрать диакритику и сохранить название файла.