Viktor Kachmaryk

https://dev.mysql.com/doc/refman/8.0/en/encryption...

and returns a binary string containing the encrypted output

И почему же бинарный кусок данных является некорректными данными для текстового поля? Ну прям решительно непонятно.
Используйте подходящий тип данных.

AES_ENCRYPT возвращает не строку, а бинарный BLOB.
Если хотите получить из него текст, то используйте HEX().