Неправильно отрабатывает regexp в mySQL

Question

[Alexey]

Пытался фильтровать данные с помощью операции:
SELECT *
FROM posts
WHERE text REGEXP '[а-яА-Я]'

По идее должен был вернуть все посты где есть русские буквы, но он вернул и немного лишних. Пока разбирался, наткнулся на следующую оказию:

SELECT '“' REGEXP '[М]';
возвращает 1

Коды символов
ord('М') = 53404 («М» — русская буква)
ord('“') = 14844060

Кто-нибудь может подсказать, почему так срабатывает?

Версия mySQL: 5.5.11
Character Set: utf8

Answer 1

[Алексей Акулович]

dev.mysql.com/doc/refman/5.5/en/regexp.html

Warning
The REGEXP and RLIKE operators work in byte-wise fashion, so they are not multi-byte safe and may produce unexpected results with multi-byte character sets. In addition, these operators compare characters by their byte values and accented characters may not compare as equal even if a given collation treats them as equal.

Comments

[Alexey]

Спасибо! Теперь понятно, что с Unicode мускульный regexp работать не умеет ((( Очень жаль.

[Андрей Буров]

конвертните в \x## и сработает как Вам нужно

Answer 2

[vsespb]

dev.mysql.com/doc/refman/5.5/en/regexp.html#operator_regexp

The REGEXP and RLIKE operators work in byte-wise fashion, so they are not multi-byte safe and may produce unexpected results with multi-byte character sets. In addition, these operators compare characters by their byte values and accented characters may not compare as equal even if a given collation treats them as equal.

Почему именно этот регэксп совпадает — не знаю. По идее для этого нужно точно знать внутреннее представление всех данных в mysql и реализацию.

Байтовое представление этих символов в различных unicode кодировках ни на какую мысль не натолкнуло.

www.fileformat.info/info/unicode/char/43c/index.htm
www.fileformat.info/info/unicode/char/201c/index.htm

Comments

[vsespb]

Запросто может быть, что, внутри mysql UTF-8 символы трактуются как Latin1, например, и конвертируются опять в Unicode, потом получившияся каша считается регэкспом.

[galaxy]

ни на какую мысль не натолкнуло

Че тут наталкивать:
ord('М') = 53404 = D09C
ord('“') = 14844060 = E2809C

[vsespb]

а, ну да, я не на ту букву М смотрел www.fileformat.info/info/unicode/char/43c/index.htm