Как обрабатывать неподходящую кодировку для БД?

Question

[TemaKam]

встречаются символы смайлики похоже отсюда https://apps.timwhitlock.info/emoji/tables/unicode
и когда пытаюсь их добавить в бд (когда они в составе какой-то строки), то получаю ошибку

1366, "Incorrect string value: '\\xF0\\x9F\\x8C\\x88\\xD0\\xA1...'

например

b'\xF0\x9F\x92\x94'
b'\xF0\x9F\x8C\x88'

в консоли они не отображаются тоже

кодировка БД и таблицы - DEFAULT CHARSET=utf8
как можно обработать все эти случаи вместе? просто нужно какое-то условие, не пойму какое
что эти символы объединяет и как вычислить, есть ли они в строке?
а то всю таблицу кодов не хочется добавлять, чтобы проверять типо такого:

if b'\xF0\x9F\x92\x94' in ReasonBlock.encode('utf-8') or b'\xF0\x9F\x8C\x88' in ReasonBlock.encode('utf-8'):
            ReasonBlock = ''

Comments

[John Didact]

А хранить данные в utf8mb4 проблема?

[TemaKam]

John Didact,
мне нужно именно таблицу в utf8mb4?

[John Didact]

TemaKam, всё… и таблицу, и данные, и подключение и вообще всё, всё, всё, что можно себе представить.

[TemaKam]

John Didact, тогда да, проблема

[John Didact]

John Didact, кроме ФС, наверное)

[John Didact]

TemaKam, ладно, тебе я разрешаю не всё. Только коннект и поле, где хранишь текст.

[TemaKam]

John Didact, коннект итак в нем (это я сам из консоли просто делал скрин, а у программы нормально), а как полю задать кодировку?
`ReasonBlock` TEXT NOT NULL ...?

[John Didact]

TemaKam,

ALTER DATABASE `имяБазы` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; # меняем у базы
USE имяБазы; # база
ALTER TABLE `имяТаблицы`.`пользователь` CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; # у таблицы

[TemaKam]

John Didact, мне надо при создании таблицы тогда

[TemaKam]

John Didact, и это может как-то повлиять на данные, которые уже в бд?

Answer 1

[Rsa97]

\xF0\x9F\x8C\x88 - это символ радуги ???? (\u1F308). Для его хранения в MySQL нужно поле с типом utf8mb4. Или же можно удалять из строки символы с кодами больше /uFFFF.

Comments

[TemaKam]

да вот поменял все же кодировки бд и таблицы на utf8mb4
мне главное чтобы старая информация не пострадала, не пострадает же при переходе с utf8 на utf8mb4?

[ThunderCat]

TemaKam, нет, они полностью обратно совместимы