PHP vs UTF-8

Question

[dmOx]

Пишу скрипт на PHP. Должен принять данные в одной кодировке, обработать их и отдать в UTF-8.
Чтобы не писать версию под каждую кодировку входных данных ещё одну версию скрипта, было решено переводить любую в UTF-8 а дальше работать с ним.

Но стали вылазить косяки:

    echo strlen('тест'); // 8
    echo strlen('тестtest'); //12

Вопрос: как заставить PHP думать буквами, а не байтами?

Answer 1

[Ura78]

Была похожая проблема. Помог параметр mbstring.func_overload в php.ini

Comments

[Владислав Росс]

Это довольно «грязный» способ, т.к. если на том же веб-сервере работают приложения в однобайтной кодировке (или они ждут стандартного поведения строковых функций), то у них возникнут проблемы. Лучше перейти на использование mb_* функций.

[Ura78]

Для таких приложений мы в httpd.conf добавили:
<Directory /data/servers/www/app_not_support_mb/> php_admin_value mbstring.func_overload 0 </Directory>

Answer 2

[Сергей Береснев]

mb_strlen в частности.

Comments

[dmOx]

А setlocale() помочь тут никак не сможет?
Там не только strlen… Скрипт работал до только с cp1251

Answer 3

[LastDragon]

> Вопрос: как заставить PHP думать буквами, а не байтами?
Ответ: никак. Для работы с многобайтными кодировками есть расширение mbstring (http://ru2.php.net/manual/en/book.mbstring.php), реализующее необходимые функции.

Answer 4

[zizop]

Почитайте вот эту статью на хабре: Определение кодировки текста в PHP — обзор существующих решений плюс еще один велосипед. Там есть решение. Это если mb_convert_encoding(...mb_detect_encoding()) вам не поможет.

Comments

[dmOx]

да мне не это надо. входная кодировка известна.

Answer 5

[Kindman]

Если известен и заранее определен алфавит (а не просто «любые символы любого языка»), и если этот алфавит полностью перекрывается какой-нибудь одной однобайтовой кодовой таблицей, то можно с помощью iconv() из UTF-8 преобразовать в однобайтовую кодировку, а затем снова в UTF-8.