Как решить проблему с collation в БД?

Question

[nottobacco]

Через докер-композ поднимаю контейнер с MySQL и вместо кодировки utf8mb4 collation utf8mb4_unicode_ci БД создаётся с кодировкой utf8mb4 collation utf8mb4_0900_ai_ci.

Устанавливать требуемую кодировку пытался через:
а) command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
б) volume: - ./.docker/mysql/my.cnf:/etc/mysql/conf.d/custom.cnf с содержимым my.cnf:
[client]
default-character-set=utf8mb4

[mysqld]
character-set-server=utf8mb4
collation-server=utf8mb4_unicode_ci

Кодировка не устанавливается ни одним из способов. Помогите с решением.

Comments

[FanatPHP]

collation это не кодировка, а набор правил сравнения

[nottobacco]

FanatPHP, спасибо, я знаю. Решить вопрос это знание, увы, не помогает

[FanatPHP]

вот поэтому вопрос и удаляют
щас и на этот жалобу оставлю

[Akina]

вместо кодировки utf8mb4 collation utf8mb4_unicode_ci БД создаётся с кодировкой utf8mb4 collation utf8mb4_0900_ai_ci.

А это последствия твоей собственной лени. Не надо ничего пытаться устанавливать. Надо при создании БД явным образом задавать все опции создаваемой БД, тогда не будет подобных проблем. То же относится к созданию таблиц и других объектов БД.

Всё, что не задано явно, может быть как угодно.

[nottobacco]

FanatPHP, с чего такая агрессия? какая жалоба? в чём претензия вообще? В тексте описана суть вопроса. набор правил сравнения === collation, нет?

Akina, я изначально и не пытался устанавливать, но обнаружилась это проблема. Объясните что вы имеете в виду под «Надо при создании БД явным образом задавать все опции создаваемой БД». Я же перечислил варианты как пытался задавать опции. Они не сработали, поэтому прошу совета

[FanatPHP]

претензия очень простая, вам насрать на всех кроме себя.
в том числе на тех, кто потенциально мог бы ответить на вопрос, если бы он был сформулирован нормально

[AVKor]

Как решить проблему с кодировкой БД?

Нет никакой проблемы.

collation utf8mb4_0900_ai_ci

Это по умолчанию, начиная с MySQL 8.0.1. Чем не устраивает? В найденном в Сети "мануале" значится utf8mb4_unicode_ci?

[nottobacco]

FanatPHP, что ты несёшь вообще?! С чего ты вообще себе позволяешь судить других? Полиция мыслей?

К чему относится collation? Не к кодировке БД (в теге MySQL)?

[nottobacco]

AVKor, все данные сейчас в utf8mb4_unicode_ci, поэтому при выводе на сайт эмодзи заменяются вопросами, а при попытке дампа кириллица прилетает в таком виде: ╨в╨╡╤Б╤В╨╛╨▓╤Л╨╣ ╨╕╨▓╨╡╨╜╤В

[AVKor]

nottobacco, Читайте до начала понимания.

[nottobacco]

AVKor, спасибо за ссылку. Отличия utf8 и utf8mb4 мне хорошо известны. Проблема связана с переносом данных из MySQL 5.7 (utf8mb4) в MySQL 8.0 (utf8mb4). Данные бьются вследствие того, что вместо utf8mb4 collation utf8mb4_unicode_ci БД создаётся как utf8mb4 collation utf8mb4_0900_ai_ci.

Можно как-то MySQL 8.0 поднять с utf8mb4 collation utf8mb4_unicode_ci?

[AVKor]

nottobacco, Вы не понимаете, что такое collation.
По моей ссылке, цитирую:

The collation (how comparisions are done)

The Unicode organization has been evolving the specification over the years. Here are the mappings from its "versions" to MySQL Collations:

4.0 _unicode_
5.20 _unicode_520_
9.0 _0900_

Most of the differences will be in areas that most people never encounter. One example: At some point, a change allowed Emoji to be distinguished and ordered in some manner.

The suffix (MySQL doc):

_bin -- just compare the bits; don't consider case folding, accents, etc
_ci -- explicitly case insensitive (A=a) and implicitly accent insensitive (a=á)
_ai_ci -- explicitly case insensitive and accent insensitive
_as (etc) -- accent-sensitive (etc)

Кодировка у вас одна и та же: utf8mb4.

[nottobacco]

AVKor, цитата моего сообщения:

...вместо utf8mb4 collation utf8mb4_unicode_ci БД создаётся как utf8mb4 collation utf8mb4_0900_ai_ci.

[AVKor]

nottobacco, Ещё раз цитирую:

The collation (how comparisions are done)

collation в переводе с английского означает "сопоставление". Влияет на то, как сопоставляются значения. А кодировка одна и та же.

[nottobacco]

AVKor, спасибо

[AVKor]

nottobacco, Через MySQL monitor подключитесь к серверу и выполните такой запрос

MariaDB [(none)]> SHOW VARIABLES
    -> WHERE Variable_name LIKE 'character\_set\_%'
    -> OR Variable_name LIKE 'collation%';
+--------------------------+------------------------+
| Variable_name            | Value                  |
+--------------------------+------------------------+
| character_set_client     | utf8mb4                |
| character_set_connection | utf8mb4                |
| character_set_database   | utf8mb4                |
| character_set_filesystem | binary                 |
| character_set_results    | utf8mb4                |
| character_set_server     | utf8mb4                |
| character_set_system     | utf8                   |
| collation_connection     | utf8mb4_unicode_520_ci |
| collation_database       | utf8mb4_unicode_520_ci |
| collation_server         | utf8mb4_unicode_520_ci |
+--------------------------+------------------------+
10 rows in set (0.001 sec)

Это результат у меня. Что показывает у вас?

[nottobacco]

AVKor, вот:

[AVKor]

nottobacco, Сделайте в виде текста (как у меня). Я не читаю скриншоты (и они для текстовой информации на данном ресурсе запрещены правилами). Скопируйте и вставьте под тегом code.

[nottobacco]

пардон, вот:

+--------------------------+--------------------+
| Variable_name            | Value              |
+--------------------------+--------------------+
| character_set_client     | latin1             |
| character_set_connection | latin1             |
| character_set_database   | utf8mb4            |
| character_set_filesystem | binary             |
| character_set_results    | latin1             |
| character_set_server     | utf8mb4            |
| character_set_system     | utf8mb3            |
| collation_connection     | latin1_swedish_ci  |
| collation_database       | utf8mb4_0900_ai_ci |
| collation_server         | utf8mb4_0900_ai_ci |
+--------------------------+--------------------+

[AVKor]

nottobacco, Сравните с моим результатом. Вы не настроили СУБД для правильной работы. У меня MariaDB, потому мне (в текущей её версии) utf8mb4_0900_ai_ci недоступно, потому у меня utf8mb4_unicode_520_ci для collation. Но всё остальное должно быть так же, как у меня. А при текущих настройках у вас так и будет ерунда вместо той же кириллицы. Надо ещё смотреть, не меняются ли настройки для конкретной БД/таблицы/столбца (что тоже возможно). Но для начала настройте правильно то, что я выше показал.

[nottobacco]

AVKor, так вопрос изначально именно в этом — не устанавливается правильная кодировка при создании контейнера с БД

[AVKor]

nottobacco, Так вы не настраивали СУБД. В конфигурационных файлах настройки проверьте и создайте/отредактируйте те, что отсутствуют или неправильные. Вот можете использовать в качестве отправной точки.

[Akina]

nottobacco,

набор правил сравнения === collation, нет?

Да. То есть collation влияет исключительно на сравнение (и, как следствие, ещё и на сортировку). И абсолютно никак не влияет на отображение - это забота charset.

Объясните что вы имеете в виду под «Надо при создании БД явным образом задавать все опции создаваемой БД».

Я имею в виду, что надо наконец, ну хотя бы теперь, озаботиться чтением официальной документации.

CREATE DATABASE Statement. Особое внимание обратить на create_option.

+--------------------------+--------------------+
| Variable_name | Value |
+--------------------------+--------------------+
| character_set_client | latin1 |
| character_set_connection | latin1 |
| character_set_database | utf8mb4 |
| character_set_filesystem | binary |
| character_set_results | latin1 |
| character_set_server | utf8mb4 |
| character_set_system | utf8mb3 |
| collation_connection | latin1_swedish_ci |
| collation_database | utf8mb4_0900_ai_ci |
| collation_server | utf8mb4_0900_ai_ci |
+--------------------------+--------------------+

Отмеченные значения - ошибочны. character_set_% - все сменить на UTF8MB4. collation_% - на любой (а лучше - на нужный), совместимый с UTF8MB4, но непременно для всех один.

[nottobacco]

Видимо, я что-то действительно делаю не так, раз не удаётся донести (а один вообще нахамил с лёту), что проблема заключается не в том как изменить наборы правил сравнения, а в том, что текущие collation устанавливаются для server и databases при создании docker container c mysql версии 8.0.27, несмотря на settings хоть путём docker-compose.yml, хоть my.cnf. Вследствие чего data из damp-file — little crashed, а создаваемые на сервере databases получают default collation is wrong.

Не знаю, что здесь можно ещё добавить, разве что — хорошего всем вечера и спасибо за ответы.

[AVKor]

nottobacco,

my.cnf

Если в тексте вопроса - это всё, что есть в my.cnf, то этого недостаточно для корректной работы. Я выше ссылку дал на то, какие примерно должны быть настройки. Вы пробовали отредактировать свой конфиг?

ПС. При ответе нажимайте "ответить", если хотите, чтобы об этом узнал тот, на чей комментарий отвечаете.