Как решить проблемы с кодировкой preg_replace и UTF-8?

Question

[maximw]

Запускал это с PHP 5.3.13 на Windows и с PHP 5.3.10 на Ubuntu.
В браузерах Chrome 33.0.1750.154 и FF 26.0, которые правильно детектировали кодировку как UTF-8

<?php
header('Content-Type: text/html; charset=UTF-8');
$message = "вае№\n_п8bс!\n  ии";
$message = preg_replace('/[^a-z0-9а-я\!]*/i', '', $message);
echo $message;

Выдает какую-то ерунду:

ваеп8b�!ии

Само собой, файл в кодировке UTF-8 без BOM. Браузер

Разумеется, использовал варианты с модификатором u, но лучше от этого не стало.
Использовал \w вместо a-z0-9 - не помогло.
Пробовал задать отдельно прописные буквы и отдельно строчные, чтоб избавиться от модификатора i - безрезультатно.

Как это лечить или чем заменить?

Comments

[maximw]

Может будет полезно: preg_last_error() после preg_replace() выдает 0

Answer 1

[smoked]

Вот так работает /[^сca-z0-9а-я!]*/
upd. /[^\p{L}0-9\!]/iu

Comments

[maximw]

Да, спасибо. На конкретном примере начинает работать. Но со строкой типа "Буря\n№@ 4em-to!\n что-то кроет" - не справляется.

[smoked]

Такой вариант должен подойти
/[^\p{L}0-9\!]/iu

[maximw]

Спасибо, регэксп-гуру. Пока не удалось подобрать пример чтоб эта регулярка споткнулась.

Answer 2

[Степан]

Документ у Вас в UTF-8 и выводите в UTF-8 а строка $message в какой кодировке?
Перед preg_replace переведите ее в utf-8 через iconv.

То что браузеры отобразили Ваш текс не означает что он в UTF-8, они автоматически подобрали кодировку и проигнорировали ваш Content-Type: text/html; charset=UTF-8

Comments

[maximw]

$message в кодировке UTF-8, поскольку сам php-файл в кодировке UTF-8.

Если браузер сам самостоятельно определяет кодировку, то в соотв. пункте меню он это отображает. Я конечно, это проверил. В FF меню Вид->Кодировка указано UTF-8.

Answer 3

[Тимур Сергеевич]

$message = "вае№\n_п8bс!\n ии"; что это такое??

Comments

[maximw]

Это строка которую надо почистить. Она в кодировке UTF-8, поскольку сам php-файл в кодировке UTF-8.