Как конвертировать уже существующие записи в другую кодировку?

Question

[AgentSmith72]

Здравствуйте! Можно ли конвертировать уже существующие записи в другую кодировку, и каким способом?

Comments

[ThunderCat]

Указать правильную кодировку в поле не пробовали?

[AgentSmith72]

ThunderCat, что вы имеете ввиду?

[ThunderCat]

AgentSmith72, Ровно то что вы спросили - кодировка в таблице или поле задается в настройках собственно таблицы или поля. Данные в ней не меняются, если только вы не сохраняете из мультибайтовой в однобайтовую, или конвертируете сложные нетипичные данные. А вообще надо бы указать что и во что вы хотите сконвертировать и зачем.

[AgentSmith72]

ThunderCat, Мне нужен рецепт как конвертировать записи из одной кодировки в другую. К настройкам таблицы это не относится.

140 000 записей. Столбец name из кодировки utf8mb3_general_ci в utfmb4_general_ci

Нужно потому что, в некоторых записях присутствуют некорректные символы.

Answer 1

[AgentSmith72]

mb_convert_encoding($city->name, "WINDOWS-1252");

Answer 2

[ThunderCat]

Мне нужен рецепт

Рецепт зависит от ингридиентов, универсального рецепта нет.

Столбец name из кодировки utf8mb3_general_ci в utfmb4_general_ci

Просто смените ему кодировку, данные "сконвертируются" автоматически, так как "битность" существующих данных не поменяется. На всякий случай можно сделать копию таблицы и поиграться с ней перед сменой основной таблицы, но вообще-то разницы быть не должно.

Comments

[AgentSmith72]

Я имел ввиду что-то типа такого

рецепта:

CREATE FUNCTION dbo.UTF8_TO_NVARCHAR(@in VarChar(MAX))
   RETURNS NVarChar(MAX)
AS
BEGIN
   DECLARE @out NVarChar(MAX), @i int, @c int, @c2 int, @c3 int, @nc int

   SELECT @i = 1, @out = ''

   WHILE (@i <= Len(@in))
   BEGIN
      SET @c = Ascii(SubString(@in, @i, 1))

      IF (@c < 128)
      BEGIN
         SET @nc = @c
         SET @i = @i + 1
      END
      ELSE IF (@c > 191 AND @c < 224)
      BEGIN
         SET @c2 = Ascii(SubString(@in, @i + 1, 1))

         SET @nc = (((@c & 31) * 64 /* << 6 */) | (@c2 & 63))
         SET @i = @i + 2
      END
      ELSE
      BEGIN
         SET @c2 = Ascii(SubString(@in, @i + 1, 1))
         SET @c3 = Ascii(SubString(@in, @i + 2, 1))

         SET @nc = (((@c & 15) * 4096 /* << 12 */) | ((@c2 & 63) * 64 /* << 6 */) | (@c3 & 63))
         SET @i = @i + 3
      END

      SET @out = @out + NChar(@nc)
   END
   RETURN @out
END
GO

[ThunderCat]

AgentSmith72, да, а вы хотите "поправить" уже существующие? Думаю это маловероятно, так как данные уже потеряны из-за несовпадения размерности. Если вы сохраняли 4х байтные символы в 3х байтовой кодировке, то скорее всего лишние байты тупо "отрезались". Есть вероятность что они сдвинуты, но судя по приведенным записям больше похоже на первое. Кроме того - не забывайте что соединение тоже должно быть в utf8mb4.

[Akina]

соединение тоже должно быть в utf8mb4

CONVERT() работает только с данными, ей по барабану кодировка соединения.

[ThunderCat]

Akina, я в курсе, я про то что если меняешь коллэйшн то и соединение нужно менять, а не оставить utf8

Answer 3

[Akina]

Столбец name из кодировки utf8mb3_general_ci в utfmb4_general_ci

Нужно потому что, в некоторых записях присутствуют некорректные символы.

Это безнадёжное занятие - данные УЖЕ повреждены.

В общем случае напрямую изменить кодировку поля нельзя - текущее значение может оказаться невалидным в новой кодировке. Следует создать новое поле с нужной кодировкой, после чего перезалить данные из неповреждённого источника. В крайнем случае - скопировать с преобразованием кодировки (функция CONVERT). Можно сделать это и на месте - сменить тип данных на BLOB, преобразовать кодировку, сменить тип данных на нужный.

Но в описанном случае можно выполнить изменение кодировки напрямую - UTF8MB3 есть подмножество UTF8MB4, и при смене кодировки опасности ошибки невалидного значения нет. DEMO fiddle. Впрочем, некорректные символы никуда не денутся.

===========================

Столбец name из кодировки utf8mb3_general_ci в utfmb4_general_ci

Это - не кодировки. Это COLLATION - набор правил сортировки символов.

Comments

[AgentSmith72]

Есть дамп древней базы с уже некорректными символами, можно ли это конвертировать в нормальную кодировку?

[Akina]

AgentSmith72, как я и сказал - конвертировать можно, исправить повреждения нет.

[AgentSmith72]

Akina, конвертировалось нормально с помощью php функции. Посмотрите в решении.

[Akina]

AgentSmith72, значит, была проблема отображения данных в правильной кодировке, а не проблема кодировки самих данных. В таком случае конвертировать можно было непосредственно в запросе. Более того, и в запросе необязательно, если правильно настроить кодировку ответа (@@ character_set_results).

[AgentSmith72]

Akina, да пришел Тим лид с отпуска и все сделал сам)

[Akina]

AgentSmith72, Если его решение не совпадает с опубликованным, будет хорошо его привести.. и уж совсем отлично - если с объяснением, почему именно так.

[AgentSmith72]

Akina, сначала искал как конвертировать средствами SQL, а оказалось что нужно средствами PHP