General error: 1366 Incorrect string value: '\xF0\x9D\x95\x8A\xF0\x9D...'?

Question

[Vladislav]

Вот сама ошибка:

SQLSTATE[HY000]: General error: 1366 Incorrect string value: '\xF0\x9D\x95\x8A\xF0\x9D...' for column 'title' at row 1

Вот что пытается вставить ActiveRecord:
\"HUNGER PANGS\" (prod. abnormal norman)_ðððð»ð*
В базе кодировка у title utf8mb4:


Так же перед вставкой у меня в правилах модели указан фильтр. Который пропускает текст через этот метод:

public static function removeEmoji($string)
    {
        $regex_emoticons = '/[\x{1F600}-\x{1F64F}]/u';
        $clear_string = preg_replace($regex_emoticons, '', $string);
        // Match Miscellaneous Symbols and Pictographs
        $regex_symbols = '/[\x{1F300}-\x{1F5FF}]/u';
        $clear_string = preg_replace($regex_symbols, '', $clear_string);
        // Match Transport And Map Symbols
        $regex_transport = '/[\x{1F680}-\x{1F6FF}]/u';
        $clear_string = preg_replace($regex_transport, '', $clear_string);
        // Match Miscellaneous Symbols
        $regex_misc = '/[\x{2600}-\x{26FF}]/u';
        $clear_string = preg_replace($regex_misc, '', $clear_string);
        // Match Dingbats
        $regex_dingbats = '/[\x{2700}-\x{27BF}]/u';
        $clear_string = preg_replace($regex_dingbats, '', $clear_string);
        return trim($clear_string);
    }

Все, все что можно было найти в инете я уже использовал у себя. И все равно ошибка эта...
Что можно еще сделать ?

Comments

[Кирилл Горелов]

Не поверишь, точно такая же ошибка была вчера.
Точно такое же решение. У меня помогло. Только у меня title другой
varchar(255)/utf8_general_ci

У тебя походу не обрабатывает все эмоджи .... (у меня с ними была проблема).
\"HUNGER PANGS\" (prod. abnormal norman)_ðððð»ð* - это то что тебе возвращает после обработки функции removeEmoji?

[Vladislav]

Кирилл Горелов, да. т.е она не удаляет эти символы... есть идея написать регулярку, которая будет удалять все кроме пробелов и utf8 символов

[Кирилл Горелов]

Владислав, SilenceOfWinter прислал класс, не пробовал его?

[Vladislav]

Кирилл Горелов, нет, надеюсь на то что поменяв соединение будет все ок.

[Vladislav]

Кирилл Горелов, проверил, не работает. не удаляет ничего

Answer 1

[Антон Шаманов]

так зачем ты хранить данные в utf8mb4_general_ci? используй utf8_general_ci и будет тебе счастье...

Comments

[Vladislav]

Было до этого utf8_general_ci была тоже ошибка.
В инете сказали чтобы хранить смайлы которые 4-х байтные нужна такая кодировка.
Поменял с utf8_general_ci на utf8mb4_general_ci все равно ошибка.

Сейчас поставил уже blob формат и все ошибок нету. Но опять же пишут что блоб в дальнейшем может принести много проблем.

[Антон Шаманов]

Владислав,

чтобы хранить смайлы

ну да, а зачем ты тогда их удаляешь через removeEmoji? если хочешь отфильтровать все, то либо используй что-то вроде su-ning/remove-emoji либо иди от обратного и удаляй все символы что не входят в нужные тебе диапазоны

[Vladislav]

Антон Шаманов, ну крч я вот так написал:

$s = '\"HUNGER PAN33GS\" (prod. abnormal norman)_[1ð]ððð»ð*';
$s =preg_replace('~[^a-z0-9\\\/!@"\'#№$;:%\^&\?\*\(\)-_\.,=\+\s\~]~ui', '', $s);
echo $s;

[Vladislav]

Антон Шаманов, c диапазоном:

preg_replace('~[^a-z0-9\s{0000—007F}]~ui', '', $s);

Он так убирает обычные символы которые есть на клаве

[Антон Шаманов]

Владислав, тогда уж $s = preg_replace('/[^\pL\pM[:ascii:]]+/gui', '', $s)

[Vladislav]

Антон Шаманов,

[Антон Шаманов]

Владислав, preg_replace('/[^а-я[:ascii:]]+/ui', '', $s);

Answer 2

[FanatPHP]

1. выкини весь этот детский сад с вырезанием
2. в настройках соединения с бд тоже выстави utf8mb4

Comments

[Vladislav]

Сделал, сейчас попробую

[Vladislav]

Все четко работает теперь