Как сделать поиск данных из mysql которые сохраненны в формате unicode?

Question

[Vasyl Vandych]

У меня есть такой кусок кода которых выполняет поиск по заданым параметрам из баззы даных. Но в базе сохранены разные языки, и некоторые в формате Unicode (вьетнамский язык). И соответственно поиск не видит етих данных.

Как сделать так чтобы поиск работал ?

/* Search */
        if($this->search && $this->search_by) {
            $where .= " AND {$table_prefix}`{$this->search_by}` LIKE '%{$this->search}%'";
        }

И данные в базе:


по картинке видно что некоторые символы в формате unicode + english

+ как сделать так чтобы он искал не в целом столбце settings а конкретно в "meta_description":

P.S. иди можно сделать сохранене данных в нормальном формате и тогда будет поиск работать?

Answer 1

[mayton2019]

Эта строка просто не работает.

$where .= " AND {$table_prefix}`{$this->search_by}` LIKE '%{$this->search}%'";

Comments

[Vasyl Vandych]

Всмысле? $table_prefix, $this->search_by и сам $this->search (поисковый запрос все определенно выше по коду.)

Целая функция:

public function get_sql_where($table_prefix = null) {
        if(!$this->is_processed) $this->process();

        $where = '';

        $table_prefix = $table_prefix ? "`{$table_prefix}`." : null;

        /* Filters */
        foreach($this->filters as $key => $value) {
            if(isset($this->filters_types[$key])) {
                switch($this->filters_types[$key]) {
                    case 'json_contains':
                        /* Only allow numbers for array json searching */
                        $value = (int) $value;
                        $where .= " AND JSON_CONTAINS({$table_prefix}`{$key}`, '{$value}', '$')";
                        break;
                }
            } else {
                /* Classic */
                $where .= " AND {$table_prefix}`{$key}` = '{$value}'";
            }
        }

        /* Search */
        if($this->search && $this->search_by) {
            $where .= " AND {$table_prefix}`{$this->search_by}` LIKE '%{$this->search}%'";
        }

        return $where;
    }

[mayton2019]

У нас нет доказательств что срабатывают все conditions и мы заходим в следующий блок.

/* Search */
        if($this->search && $this->search_by) {
            $where .= " AND {$table_prefix}`{$this->search_by}` LIKE '%{$this->search}%'";
        }

Распечатай на экране то что возвращает эта функция. Может она возращает это в странном виде?
Может здесь пустая строка? Может кодировка не та?

Да мало-ли чего.

Понимаешь тут половина топиков в хабре закрываются ответами самих авторов. Только
я как Аристотель или как Платон должен ходить и задавать наводящие вопросы.

[Vasyl Vandych]

mayton2019, выводит список статей по заданым паараметрам фильтра, но так или иначе в базе все иероглифы и вьетнамские буквы которые не похожи на английский сохраняються так как на картинке выше.
на сайте все красиво и все как надо, читаемо. Только сама форма фильтра исходя из переменной $this->search не распознает поисковый запрос nghiệp toàn quốc потому что он в базе сохранен как nghi\u1ec7p to\u00e0n qu\u1ed1c потому поиск и не проходит

[mayton2019]

Vasyl Vandych, смотри. Ты кружишся по кругу потому что не можешь определить какой формат представления Вьетнамского языка является коррекным для хранения в PHP, JSON, MySQL.

Не пиши сложных и умных функций. Сделай просто тест. Возмьи 1 вьетнамскую букву.
Запиши ее в строку на языке PHP. Потом запиши ее в базу. Потом прочти ее из базы.
Выведи на экран (в каноническом Unicode представлении). Потом найди эту строку по
простому фильтру равенства WHERE field1 = "\u......"

Вот так. Тихой сапой. Иди по чеклисту.

[Vasyl Vandych]

mayton2019, я не понимаю почему оно сохраняет meta_description вьетнамские буквы в юникоде, а если сам url созраняет на вьетнамском, при том что в 2х столбцах одинаковые кодировки.

[mayton2019]

Мне трудно комментировать скриншоты. По возможности делай листинги кода. Или логи.

По поводу JSON. Я даю тебе ссылку на вот эту бумажку ECMA-404

https://www.ecma-international.org/wp-content/uplo...

Почитай как JSON хранит Unicode символы. И поскольку ты проигнорировал мое первое задание.
Я даю тебе еще второе задание. Сделать тоже самое. Только охранить в базу вьетнамский символ
не в string. А в JSON. И прочитать его. И убедитсья что он прочитан правильно.

Я думаю после этого у тебя отпадут все вопросы.

[Vasyl Vandych]

mayton2019, почитал твой файлик .pdf Залетел на stackoverflow и решил так : JSON_UNESCAPED_UNICODE Не кодировать многобайтовые символы Unicode (по умолчанию они кодируются как \uXXXX).
И какбы все)

[mayton2019]

Vasyl Vandych, заработало?

[Vasyl Vandych]

mayton2019, да заработало, добавил к $settings = json_encode($settings, JSON_UNESCAPED_UNICODE); и все сохраняется в том виде что юзер забивает, без юникода, ну и поиск естественно заработал)
Там кстати можно еще просто 256 добавить, но я не до конца понял что от чего отличается.

[Mylistryx]

Vasyl Vandych, это битовая маска, и JSON_UNESCAPED_UNICODE = 256

Answer 2

[Ипатьев]

Надо сделать сохранение данных в нормальном формате и тогда будет поиск работать.

Но для этого надо сначала научиться пользоваться базой данных, потом разработать нормальную структуру, и хранить данные как положено - каждое поле отдельно, а не всё одной в помойной куче.

Comments

[Vasyl Vandych]

К этому я дойду чуть позже. Не все сразу. Спасибо за ответ.

Answer 3

[pantsarny]

Вы храните данные в json, посмотрите на набор функций json_ в MySQL
Еще у вас юникод декодирован - значит на входе в поиске строку передавайте тоже в декаде уникод, но потеряете часть функционала MySQL (collation)
Так что лучше используйте функцию например отсюда https://stackoverflow.com/questions/11062330/mysql...