Как обработать кириллические хештеги?

Question

[Алексей Черток]

Здравствуйте.

Подскажите пожалуйста, как обработать кириллические хештеги ?
Сейчас у меня паттерн '%(\A#(\w|(\p{L}\p{M}?)|-)+\b)|((?<=\s)#(\w|(\p{L}\p{M}?)|-)+\b)|((?<=\[)#.+?(?=\]))%u'.

Поиск хештегов проводится через preg_match("/(#\w+)/", $text).

Обрабатываются все английские хештеги, но на кириллице ничего. Помогите создать паттерн и на кириллицу пожалуйста.
Заранее благодарен.

Comments

[Сергей Попов]

Почему в preg_match нет флага /u? Он будет кириллицу игнорировать.

[Алексей Черток]

Сергей Попов, не совсем понял .. ?

[Алексей Черток]

Сергей Попов, понял, мой косяк, спасибо !)

[Сергей Попов]

Алексей Черток, Напишу ответом - отметь решением) Чтобы не вводить людей в заблуждение.

Answer 1

[Сергей Попов]

Почему в preg_match нет флага /u? Он будет кириллицу игнорировать.

Comments

[Flying]

Кириллица, кстати, вполне может быть и однобайтной кодировкой. Понятно что в современных реалиях это относительно маловероятно, но тем не менее.

Answer 2

[Flying]

Есть официальная библиотека от Twitter которая, в частности, предоставляет функциональность экстракции хэштегов (пример для JS).

Если смотреть в код то там будет видно что реальный regexp формируется из кусков и его суммарный финальный размер весьма велик (думаю несколько кб). Кроме того есть ещё одна проблема, уже специфическая для PHP - библиотека PCRE, используемая как движок регулярных выражений для PHP не поддерживает Unicode Surrogates, выдавая для них ошибку Error 73 disallowed Unicode code point.

Я в своё время для одного проекта конвертировал реализацию из библиотеки Twitter для PHP, если нужно - можно забрать здесь. Там правда есть небольшое отличие в обработке mentions т.к. нужно было учесть специфику Instagram, ну и то что касается специфики работы PCRE, см. выше.