Что значит предложение «не дающие использовать символы, пронумерованные свыше 0xFFFD»?

Question

[Shimpanze]

Добрый день!

Читаю про кодировки MySQL и наткнулся на неплохую статью. Автор приводит следующее предложение:

Начиная с MySQL 5.5.3, вы должны использовать utf8mb4, а не utf8. Обе эти группы относятся к кодировке UTF-8, но более старая utf8 имеет специфичные для MySQL ограничения, не дающие использовать символы, пронумерованные свыше 0xFFFD.

Поясните, пожалуйста, что означает конец этого предложения (не дающие использовать символы, пронумерованные свыше 0xFFFD)?

Что это значит?

Спасибо!

Answer 1

[Алексей Уколов]

Каждый символ в unicode имеет собственный цифровой код. 0xFFFD - это число в шестнадцатеричной системе (65533 в десятичной). Старая кодировка не может обработать символы, имеющие больший код.
www.unicodemap.org/details/0xFFFD/index.html

Comments

[Shimpanze]

Как правильно закончить это предложение?

[Алексей Уколов]

Какое предложение?

[Shimpanze]

Для своей шпаргалки, мне нужно правильно написать это предложение:

Обе эти группы относятся к кодировке UTF-8, но более старая utf8 имеет специфичные для MySQL ограничения, не дающие использовать символы, пронумерованные ваше 0xFFFD.

Его конец (выделенный жирным) неверно заканчивается. Помогите правильно его составить. Потому что я не могу понять о чем там речь. Спасибо.

[Алексей Уколов]

Обе эти группы относятся к кодировке UTF-8, но более старая utf8 имеет специфичные для MySQL ограничения, не дающие использовать символы, код которых больше 65533 (этот символ и все, что идут за ним).

[Shimpanze]

Благодарствую!

Answer 2

[Everything_is_not_so_bad]

Из Википедии:

Базовая многоязыковая плоскость (Basic multilingual plane, BMP)
Диапазон символов U+0000…U+​FFFF

В базовую плоскость входят множество различных письменностей, включая иероглифы, и их должно хватить в 99,9% случаев.

Так что если в ПО используются какие-то не входящие в базовую плоскость письменности, то вместо utf8 следует использовать utf8mb4.