Почему хранимая процедура MySQL не принимает кириллицу?

Question

[kermy]

Хранимая процедура вызывает ошибку 1366, "Incorrect string value:... Если в передаваемых параметрах присутствует кириллица.
Сама процедура:

CREATE DEFINER=`root`@`%` PROCEDURE `InsertNewMessage`(
	IN `in_from_userid` BIGINT,
	IN `in_message_id` INT(11),
	IN `in_user_select_lang` VARCHAR(2),
	IN `in_lang_detect` VARCHAR(2),
	IN `in_voice_text` TEXT,
	IN `in_voice_translate` TEXT,
	IN `in_voice_file` MEDIUMBLOB
)
LANGUAGE SQL
NOT DETERMINISTIC
CONTAINS SQL
SQL SECURITY DEFINER
COMMENT ''
BEGIN
    INSERT INTO traductor.message (
        message.from_userid,
        message.message_id,
        message.user_select_lang,
        message.lang_detect,
        message.user_select_dialect,
        message.voice_text,
        message.voice_translate,
        message.voice_file
    )
    VALUES (
        in_from_userid,
        in_message_id,
        in_user_select_lang,
        in_lang_detect,
        in_voice_text,
        in_voice_translate,
        in_voice_file
    );
END

Вызывается процедура так:

async def InsertNewMessage(self, user_id: int,
                               message_id: int,
                               user_select_lang: str = None,
                               lang_detect: str = None,
                               voice_text: str = None,
                               voice_translate: str = '',
                               voice_file: bytes = None):
        global call_proc, data
        try:
            call_proc = 'InsertNewMessage'
            data = (user_id,
                    message_id,
                    user_select_lang,
                    lang_detect,
                    voice_text,
                    voice_translate,
                    voice_file,)
            self.cursor.callproc(call_proc, data)
            self.connection.commit()
        except Error as e:
            config.log.exception(f'{__name__} {call_proc} data={data} | {e}', exc_info=False)

Подключение к базе данных осуществляется так:

async def __aenter__(self):
        self.connection = connect(
            charset='utf8mb4',
            host=self.config.db_host,
            user=self.config.db_user,
            password=self.config.db_password,
            database=self.config.db_database)
        self.cursor = self.connection.cursor()
        return self

Кодировка базы данных utf8mb4_general_ci
Но при этом если использовать прямой sql запрс, так:

async def InsertNewMessage(self, user_id: int,
                               message_id: int,
                               user_select_lang: str = None,
                               lang_detect: str = None,
                               user_select_dialect: str = None,
                               voice_text: str = None,
                               voice_translate: str = '',
                               voice_file: bytes = None):
        global call_proc, data
        try:
            sql = """
                        INSERT INTO `message` (
                            `from_userid`,
                            `message_id`,
                            `user_select_lang`,
                            `lang_detect`,
                            `voice_text`,
                            `voice_translate`,
                            `voice_file`
                        )
                        VALUES (%s, %s, %s, %s, %s, %s, %s)
                    """
            data = (user_id,
                    message_id,
                    user_select_lang,
                    lang_detect,
                    voice_text,
                    voice_translate,
                    voice_file)
            self.cursor.execute(sql, data)
            self.connection.commit()
        except Error as e:
            config.log.exception(f'{__name__} {call_proc} data={data} | {e}', exc_info=False)

То всё прекрасно работает. В чем проблема с хранимой процедурой InsertNewMessage или проблема в другом?
p.s. использую библиотеку PyMySQL

Comments

[rPman]

любая строка на кирилице или конкретная строка?

можешь провести эксперимент и создать тестовую таблицу с тестовым текстовым полем и поместить туда тестовую строку "тест" буквально запросом из консольного клиента mysql? как минимум это исключит проблемы с базой а не твоим приложением.

[kermy]

Да, любая строка, например - "тест". В саму таблицу используя клиент или sql запрос вставить любую стрку содержащую кириллицу я могу!

[Akina]

SHOW VARIABLES LIKE 'char%';

Кодировка базы данных utf8mb4_general_ci

Это НЕ КОДИРОВКА !

Это COLLATION - набор правил сравнения строковых литералов.

[kermy]

Akina, А какое решение?

[kermy]

Akina,
Сделал так:

ALTER TABLE message
CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

Но результат тот же...

[Akina]

Ну я же дал полный текст запроса.

Надо:

1. Выполнить запрос
2. Получить результат выполнения запроса
3. Изучить полученный результат
4. Изучить официальную документацию по каждому выведенному параметру, в т.ч. разобраться, на что влияет каждый параметр, какие из них влияют на описываемую проблему и как именно
5. Вооружившись полученными знаниями, решить проблему

Кроме того, аналогично надо изучить документацию по этому вопросу и на стороне приложения (python). Скорее всего, для исправления ситуации потребуется работа на обеих сторонах процесса.

[rPman]

в функции InsertNewMessage выведи текст своего сообщения на экран, чтобы удостовериться что этот текст в верной кодировке, либо сохрани его в файл, будет сразу ясно что происходит

Answer 1

[Rsa97]

-	IN `in_voice_text` TEXT,
-	IN `in_voice_translate` TEXT,
+       IN `in_voice_text` TEXT CHARSET utf8mb4,
+	IN `in_voice_translate` TEXT CHARSET utf8mb4,,

Comments

[kermy]

Исправил процедуру,  добавив CHARSET utf8mb4:
PROCEDURE `InsertNewMessage`(
	IN `in_from_userid` BIGINT,
	IN `in_message_id` INT(11),
	IN `in_user_select_lang` VARCHAR(2),
	IN `in_lang_detect` VARCHAR(2),
	IN `in_voice_text` TEXT CHARSET utf8mb4,
	IN `in_voice_translate` TEXT CHARSET utf8mb4,
	IN `in_voice_file` MEDIUMBLOB
)

Но к сожалению это решение не помогло:

ERROR:root:classes.psql InsertNewMessage data=(123, 321, 'ab', 'bc', 'txt', 'тест'...(1366, "Incorrect string value: '\\xD1\\x83\...' for column ``.``.`in_voice_translate` at row 0")

[Rsa97]

kermy, Странно, передаёте 'тест', а в ошибке \xd1\x83 - буква 'у'.
И всё-таки проверьте кодировку таблицы и полей, они могут отличаться от общей кодировки базы данных.

[kermy]

Rsa97, Слово в примере было матерное, я отцензурировал на "тест"))