Мультиязычный транслит на PHP?

Question

[xexsus]

Нужно из текста на любом языке получать близкий по звучанию текст в ANSII.

Существует ли такое решение на php?

Comments

[xexsus]

У google есть API: code.google.com/apis/ajaxlanguage/documentation/#Transliteration
Может есть готовые решения использующие его?

[xexsus]

iconv('utf-8','ascii//TRANSLIT','Привет'); // тоже не работает :(

Answer 1

[dmiceman]

Боюсь, ничего готового гугль не находит. И это действительно очень сложная и комплексная задача, совсем непохожая на работу mb_strtoupper(). С изменением регистра символов все просто — есть символы юникода, есть таблицы соответствия. А вот таблиц «близости по звучанию» — нет. И что-то мне подсказывает, что создать их вне зависимости от контекста языка невозможно.

Даже в фонетических языках есть большой произвол в звучании одних и тех же букв в зависимости от контекста. А та же кириллица используется во многих языках, звуча при этом немного по разному.

Что уж говорить про иероглифы, которые кодируясь одними и теми же последовательностями байт, звучат различно для разных народов их использующих. Тем более, что звуки языков с переменной тональностью довольно сложно передать посредством ASCII.

Но вот, в частности нашел таблицы для русского: textpattern.ru/html/transliteration-tables.htm

Comments

[xexsus]

Думаю тут проблема в том, что одни и те же символы используются в разных языках, из-за этого, не зная языка исходного текста, невозможно определить в автоматическом режиме какую букву кодирует символ.
А особая точность мне не нужна, мне бы хватило приблизительного варианта.

Answer 2

[LIAL]

Думаю нет.

>на любом языке
вы представьте себе объем реализации и подумайте вы бы стали такой проект делать ??

Comments

[xexsus]

mb_strtoupper делает примерно тоже самое, но с другим набором символов

Answer 3

[diggy]

iconv //TRANSLIT проверяли? (мне ни разу не было нужно, просто как вариант)

Comments

[xexsus]

проверял, не пашет
но есть сведения что линуксом работает, как раз сейчас проверяю

[xexsus]

Не, под линуксом тоже не работает, хотя и выдаёт другой результат.

Answer 4

[voroninman]

Все просто. Берете массив соответсвий 'ё'='yo' и скармливаете его функции strtr().

Comments

[voroninman]

php.net/manual/en/function.strtr.php — функция
www.ru-coding.com/php_16.php — пример с массивом
textpattern.ru/html/transliteration-tables.htm — таблица транслита

Только одно но… скажите нет utf-8. Костыли или windows-1251

[xexsus]

И где его взять?

[xexsus]

Эта таблица массива ТОЛЬКО для русского языка? А где китайский, японский, хинди, и.т.д?

[xexsus]

Да мне хоть костыли, лишь бы работало :)

Answer 5

[Karsonito]

Как я понимаю вопрос еще открыт.
Мне помог модуль transliteration из drupal.
Там есть готовая функция. Нужно только отпилить привязку к друпалу.
Кстати, исходники основаны на MediaWiki и Text::Unidecode.

Comments

[xexsus]

Есть онлайн демка на тестирование? Есть подозрение, что там только европейские языки, их легко транслировать. А нужны в основном корейский, китайский, японский… Причём неизвестно на каком языке входящая строка.

p.s. Нет никакого способа домены третьего уровня на uft8 заводить?

Answer 6

[Борис]

http://www.php.net/manual/ru/class.transliterator.php

Comments

[xexsus]

Насколько понимаю, нужно знать направление транслитеряции.

Комментаторы выше правы, теоретически невозможно корректно траслитерировать абстрактный набор символов на английский, так как одни и те же символы в разных языках читаются по-разному.

С другой стороны, направление транслитерации можно узнать по геотаргентингу. А если не бояться неточностей, то вообще всё просто.