Что за проблема с кодировкой?

Question

[Влад]

При открытии вот такого URL site.ru/et/ettevote/filter/abc/ö

У меня почему-то успешно срабатывает вот такое условие:

if (!preg_match('/\/ettevote\/filter\/abc\/([A-Za-z0-9ŠšŽžÕõÄäÖöÜü])/', $_SERVER['REQUEST_URI'], $code)) {
    die('Not found!2');
}

Это не латинский символ... как его правильно прописать?

Answer 1

[Gennady S]

А зачем Вы открываете такой URL? В этом есть необходимость? Символы похожи на эстонский алфавит. Если у Вас прямая необходимость работать именно с эстонским алфавитом, то, конечно, так и прописывайте в регулярном выражении. Должно сработать и [a-ü]+, [A-Ü]+ при модификаторе //u, если же это строки, хранимые в базе данных, то просто пользуйтесь юникодом и ищите наряду с обычными (зависит от базы данных, конечно). Но, лучше использовать латинские символы в ссылках.

Comments

[Влад]

да, я работаю с эстонским сайтом.
то есть какая будет правильная запись?

так тоже выкидывает notfound2

if (!preg_match('/\/ettevote\/filter\/abc\/([a-ü]+[A-Ü]+)/u', $_SERVER['REQUEST_URI'], $code)) {
    die('Not found!2');
}

[Gennady S]

Влад, почти, там я указал 2 разные последовательности [a-ü]+, [A-Ü]+, Вам стоит вписать в одну, [a-üA-Ü]+ (что будет означать или прописные, или строчные буквы), можно это решить и регистронезависимостью (не знаю, насколько это сработает с эстонским, но должно), добавив модификатор "i": '/\/ettevote\/filter\/abc\/([a-ü]+)/ui', а еще напоминаю, что можно использовать разные экраны в PHP preg_match, сделав регулярное выражение приятнее : ) '#/ettevote/filter/abc/([a-ü]+)#ui' (замените / на # и можно использовать / без экранирования). Так же не забудьте про строгое ограничение начала и конца строки: '#/ettervote' захватит и '/anyaddress/ettevote', если не указать в начале выражения символ начала строки: ^ (и желательно конец обозначить $), в общем, в итоге мы получаем:

if (!preg_match('#^/ettevote/filter/abc/([a-ü]+)$#ui', $_SERVER['REQUEST_URI'], $code)) {
    die('Not found!2');
}
$code = $code[1];

Еще напомню, что в $code попадет не $code, а словарь, где 0-й элемент это вся искомая строка, а 1-й это 1-я искомая последовательность (то, что в скобках)

[Влад]

Gennady S, увы, все равно не работает:

вот сама страница: https://turundusinfo.ee/et/ettevote/filter/abc/ü

if (!preg_match('#/ettevote/filter/abc/([a-ü]+)$#ui', $_SERVER['REQUEST_URI'], $code)) {
    die('Not found!2');
}

^ в начале страницы мне не нужен
$code[1] - да, это я знаю

[Gennady S]

Влад, проверьте REQUEST_URI, попробуйте $_SERVER['PATH_INFO'], т.к. выражение точно рабочее, попробуйте непосредственно на строке, например, в консоли:

php -r "$m = null; preg_match('#/ettevote/filter/abc/([a-ü]+)$#ui', '/et/ettevote/filter/abc/ü', $m); print_r($m);"

[Влад]

path_info вообще почемуто выводить не хочет. вот я сейчас такой код прописал - посмотрите https://turundusinfo.ee/et/ettevote/filter/abc/ü

if (!preg_match('#/ettevote/filter/abc/([a-ü]+)$#ui', $_SERVER['REQUEST_URI'], $code)) {
    echo "REQUEST_URI: ". $_SERVER['REQUEST_URI'];
    echo "<br>PATH_INFO: ". $_SERVER['PATH_INFO'];
    echo "<br>";
    die('Not found!2');
}

[Gennady S]

Влад, это уже другие проблемы. Сделайте так, перед регулярным выражением: $uri = urldecode($_SERVER['REQUEST_URI']); и проверяйте уже $uri (у вас не-латинские символы кодируются как url-безопасные, ü = %C3%BC). PATH_INFO может зависеть от способа, которым перезаписываете URL, адресуя на обработчик filter_abc.php, но точнее сейчас трудно сказать.

[Влад]

о а так сработало! спасибо большое!

отмечу позже, что проблема решена, но может вам по ходу сейчас будет несложно тогда разобраться - почему я когда делаю запрос к базе:

WHERE nimi LIKE '".$code[1]."%'

и вместо $code[1] попадает эстонская буква Ü, то из базы выводятся не только значения на Ü, но и на U ??
и то же самое наоборот, когда запрашиваю U, то выводятся также Ü

[Влад]

нет нет нет.. проблема не решена.
с ü проблема решена, а вот, например, с š нет почемуто.

https://turundusinfo.ee/et/ettevote/filter/abc/š

[Gennady S]

Влад, у нас буря в стакане : ) Я писал, должно работать (и проверил на ряде символов), но это не факт. Решение следующее. Когда мы указываем диапазоны [a-z] движок берет цифровое представление символа, его номер в кодовой таблице, и сравнивает от и до a >= X >= z, значит, в эстонском алфавите символ š выбивается из ряда между a и ü, его код больше ü или меньше a. Вы можете, 1) определить коды символов и узнать их правильную последовательность 2) поскольку символов немного и ситуация исключительная, оставить вариант: [a-zšžõäöü]+ с модификаторами ui

// коды символов
echo mb_ord('š'), PHP_EOL;
echo mb_ord('ž'), PHP_EOL;
echo mb_ord('õ'), PHP_EOL;
...

[Влад]

[a-zšžõäöü]+ помогло :) спасибо

ладно, закрою тему - по поводу WHERE nimi LIKE '".$code[1]."%' спрошу в отдельном топике у кого-нибудь

[Gennady S]

Влад, а что не так с запросом в базе? Таблица должна быть в utf-8 как минимум, желательно utf8mb4, вместо прямой вставки значения используйте подстановочные символы (зависит от библиотеки базы данных), для PDO так:

$st = $pdo->query("SELECT * FROM ... WHERE nimi LIKE :nimi");
 // % означает подстановку
// %value — оканчивающиеся на value, value% — заканчивающиеся
$st->bindValue(':nimi', "{$code[1]}%", \PDO::PARAM_STR);

[Влад]

Gennady S, сопоставлении кодировки в базе utf8mb4_unicode_ci
сама таблица в utf8_general_ci

... у меня не pdo.. $mysqli->query

[Gennady S]

Влад, суть та же, как включать параметры в документации должно быть. Важно, чтобы данные запроса были экранированы, пользователь может набрать инъекцию в адресе и взломать базу. LIKE же подразумевает символы %arround% , чтобы искать строку внутри. Посмотрите еще это:
https://www.php.net/manual/ru/mysqli.real-escape-s...

[Влад]

Gennady S, не очень вас понял..
вот мой код
WHERE nimi LIKE '".$code[1]."%'
здесь я уже использую %, но проблема не в нём. логика правильная.
просто когда в code1 передается эстонский символ Ü, то он выдает запросы не только начинающиеся на Ü, но и на U - какбудто не видит различия..

[Gennady S]

Влад, это надо копать документацию по MySQL, слету не скажу. Видимо специфика сопоставления символов. Может после инициализации соединения нужно указать это сопоставление: https://dev.mysql.com/doc/refman/8.0/en/charset-li...