Обработка текста в PHP регулярным выражением

Question

[Юрий Пихтарев]

Доброго времени суток.

Собственно столкнулся с одной проблемой, самостоятельно решить которую не могу. Необходимо обрабатывать средствами PHP вводимый пользователями текст для передачи его поисковому движку Sphinx. Поиск производится по всем имеющимся словам, а не фразе. Для этого перед каждым отдельным словом добавляем оператор +.

Для данной цели использую следующую функцию:

function clean_text_match ($text, $all_words)
{
	global $db, $bb_cfg;

	$text = ' '. mb_strtolower($text, 'UTF-8') .' ';

	if ($all_words)
	{
		$text = preg_replace('#\s(\b\w)#', ' +$1', $text);
	}
	$text_match_sql = $db->escape(trim($text));

	return $text_match_sql;
}

Суть проблемы состоит в некорректной обработке поступающего текста регулярным выражением. Для примера возьмем, что пользователь искал фильм «Секс в большом городе». При поиске фразы «секс в большом городе», в эхе текста, обработанного функцией, видим, что он каким был — таким он и остался:

секс в большом городе

Вводим соответствующую фразу на английском языке и в результате имеем то, что и было задумано:

+sex +and +the +city

Как видите — русский текст через регулярное выражение по непонятной мне причине не проходит. С английским — все отлично. Все текстовые фразы на обработку поступают в уже нужной кодировке (UTF-8) и в принципе каких-либо проблем с самим текстом быть не должно. Следовательно, проблема в самом регулярном выражении.

Немного упрощаем его до вот такой конструкции:

...
	if ($all_words)
	{
		$text = preg_replace('#\s#', ' +$1', $text);
	}
...

Прогоняем русский текст:

+секс +в +большом +городе +

Вроде как все отлично (кроме последнего пробела также получившего +). Однако, если я захочу использовать другие операторы Sphinx, например оператор NOT (! или -), то в результате прогонки текста с таким отрицанием (отрицаем слово город) иметь будем следующее:

+секс +в +большом +-городе +

Что является неверным, т.к. в идеале мы в случае отрицания должны иметь следующий текст:

+секс +в +большом -городе

Поиски похожего регулярного выражения, которое сможет разбивать слова определенными символами, пропуская те, перед которыми уже есть не пробельный символ (@,!,- и т.д.) у меня успехом не увенчались. Поэтому и обращаюсь с просьбой о помощи сюда: есть ли способ осуществить задуманное с иным регулярным выражением?

Во время поисков наткнулся на вот такой комментарий: ru2.php.net/manual/ru/regexp.reference.escape.php#102868 — судя по всему, управляющая последовательность \b просто не дружит с юникодом.

Спасибо.

Answer 1

[ertaquo]

Попробуйте модификатор u:
$text = preg_replace('#\s#u', ' +$1', $text);
www.php.net/manual/ru/reference.pcre.pattern.modifiers.php

Comments

[Юрий Пихтарев]

Забыл написать в вопросе, что все возможные модификаторы уже были перепробованы. К сожалению, не помогает. Английский текст проходит через регулярное выражение отлично, русский — нет.

[ertaquo]

А если попробовать так?
$text = preg_replace('#\s+([^\s]+)#u', ' +$1', $text);
Не совсем корректно, но проблем с русским не будет

[ertaquo]

Нашел!
$text = preg_replace('#\s+([\b\pL]+)#u', ' +$1', $text);
\pL означает любую букву.
www.php.net/manual/ru/regexp.reference.unicode.php

[Юрий Пихтарев]

Да, действительно, такой вариант проходит, сходил к вам в профиль. Однако, у него тот же недостаток что и у моего упрощения уже описанного в вопросе — если изначальное регулярное выражение не обрабатывает слова начинающиеся с непробельных символов (!, @, -) — в данном варианте такого нет и мы опять же имеем:

+секс +в +большом +-городе

Как вариант, конечно, заменять потом такие полученные пары символов с операторами, но что-то даже не знаю, думал что есть вариант на одних лишь регулярных выражениях.

[Юрий Пихтарев]

Большое спасибо, ваш второй вариант подошел идеально!

Answer 2

[B@rmaley.e><e]

1. Для использования юникода нужен соответствующий модификатор.
2. Символы, попадающие под действие \w зависят от локали. Проверьте локаль, а лучше — замените \w на [a-zа-яё].

Comments

[Юрий Пихтарев]

1) Модификатор уже пробовал — не помогает;
2) Локаль выставлена глобально — setlocale(LC_ALL, 'ru_RU.UTF-8') разницы нет, собственно. Эффекта при замене модификатора также не наблюдаю. Русский текст проходит без изменений.

Answer 3

[Анатолий]

public function clean_text_match ($text, $all_words)
{
	//global $db, $bb_cfg;
	
	$text = ' '. mb_strtolower($text, 'UTF-8') .' ';
	
	if ($all_words)
	{
		$text = preg_replace('#\s(\b\w)#', ' +$1', $text);
	}
	//$text_match_sql = $db->escape(trim($text));
	
	return $text;
}
	
public function aaaAction()
{
	echo $this->clean_text_match( 'секс в большом городе', true );
}

результат: +секс +в +большом +городе
Вы уверены что получаете правильную строку?

Comments

[Юрий Пихтарев]

Мне тоже демонстрировали что мой изначальный вариант на чистом тексте работает, но из-за чего подобные различия — не понимаю, или файл сохранен не в той кодировке (кодировка входящего текста) или… Все равно спасибо за ответ и потраченное время, вам тоже в профиль сходил.

Answer 4

[Begetan]

Цитирую, не мое но нашел и мне тоже интересно.

В PCRE есть специальные последовательности для различных классов Unicode-символов, например, «\p{L}» — это буквы, «\p{N}» — цифры и так далее.
…

Для начала напишите: $text = preg_replace('#\s(\b\pLN)#', ' +$1', $text);

Ну а далее есть еще другие методы:

bolknote.ru/2010/09/08/~2704#29

Answer 5

[Begetan]

Точнее просто \pL

И поиграться
www.php.net/manual/ru/regexp.reference.unicode.php

Где «Совпадение символов по Unicode свойству не является быстрой операцией, потому для этой цели PCRE необходимо осуществить поиск в структуре данных с более чем пятнадцатью тысяч символов. Поэтому традиционные управляющие последовательности в PCRE, такие как \d и \w, не используют Unicode свойства. „

Comments

[Юрий Пихтарев]

Да, спасибо, выше такой вариант уже предложили и он подошел, но все равно сходил и к вам в профиль.