Какую кодировку выбрать для базы чтобы можно было сохранять строки на любом языке и не парить себе мозг?

Question

[Александр Синицын]

Сделал миграцию
$tableOptions = 'CHARACTER SET utf8 COLLATE utf8_unicode_ci ENGINE=InnoDB';

Добавил модель, передаю post данные с кириллицей, save() отрабатывает, но латиница в базу попадает, а от кириллицы пустое место... боюсь предположить, что будет если кто-то напишет на арабском, китайском или хинди. Что делать?

Comments

[sim3x]

А изначально в какой кодировке БД была и в какой сейчас? И отдельные таблицы в какой?

[Александр Синицын]

sim3x, utf8_unicode_ci

[Arman]

Александр Синицын, а откуда текст? сами писали или с файла? чужого сайте? сам файл скрипта в utf8? после соединения с БД указывается кодировка?

[Arman]

в целом если не ошибаютсь utf8 за глаза хватает, проблема только с эмоджи и может неправильно сортировать (order by) некоторые редкие языки.

[Александр Синицын]

Arik, Делаю api для андроид приложения. Данные отправляю post через phpStorm/Tools/Test RESTFull Web Service

[Александр Синицын]

Arik, В main-local указано 'charset' => 'utf8',

[Arman]

если в коде прям указать у какого атрибута кириллицу и сохранить модель?

[Александр Синицын]

Arik, Из кода пишет

Answer 1

[Кирилл Несмеянов]

Стоит везде выставить utf8mb4_unicode_ci (работает точнее при сортироваках и проч.) или utf8mb4_general_ci (чуть быстрее работает, крайне незначительно, так что имеет смысл именно первый вариант).

P.S. Указанные выше utf8_general_ci/utf8_unicode_ci поддерживают лишь половину диапазона utf8, отсюда сохранение, например эмодзи, будет физически невозможным.

P.P.S. Суффикс "ci" означает Case Insensitive (нечувствителность к регистру при поиске и сравнении).

Comments

[Александр Синицын]

А просто текстов на любом языке без всяких эмодзи utf8_unicode_ci хватит?

[Кирилл Несмеянов]

Александр Синицын, если вопрос поставлен как "на любом языке", то нет, не хватит. Если только популярные, то хватит за глаза.

[Александр Синицын]

Кирилл Несмеянов, Если когда-то не хватит, можно ведь будет сменить?
... хотя зачем менять потом, если можно сделать сразу ))

[Кирилл Несмеянов]

Александр Синицын, можно, конечно. Но есть один небольшой нюанс - при использовании кодировки, рассчитанной под весь стандарт (а не на огрызок, как текущий utf8) объём данных уменьшается. Т.е. varchar 255 позволит записать 191 символ в utf-8mb4: https://dev.mysql.com/doc/refman/5.7/en/charset-un...

Answer 2

[mitaichik]

Обычно utf8_general_ci вроде

Answer 3

[Denis]

Нормальная у Вас кодировка, utf8_unicode_ci так же подходит для кириллицы. Может что то происходит во время декодирования json или пользуетесь строковыми функциями без приставки mb_