Как выявить символы не поддерживаемые кодировкой?

Question

[Антон Шаманов]

Есть легаси таблица в кодировке koi8r и админка через которую вносят в неё текст, который зачастую содержит не поддерживаемые символы вроде знака рубля (с фронта данные прилетают в utf-8).
Соответственно встала задача уведомлять пользователей о попытках внести текст с не поддерживаемыми символами.
Единственное что приходит на ум - это конвертнуть строку в koi8r и сравнить посимвольно, но возможно есть какие-то более элегантные варианты?
P.S. увы, возможности сменить кодировку таблицы нет

Comments

[Adamos]

Если таблица только для хранения, а работу с ней можно поменять - можно хранить base64 :)
Можно сочинить собственную таблицу конвертации для тех символов, которые из верхней половины KOI соответствуют тому, что вообще могут прислать в уникоде (псевдографику - вряд ли) и добавить замены для того же рубля на "руб.", например. В общем, написать свое с блэк-джеком, раз уж приходится работать с... легаси.

[Vitsliputsli]

конвертнуть строку в koi8r и сравнить посимвольно

Не нужно сравнивать, просто на фронте разрешите только те символы, которые нормально конвертируются.
Либо как предложил Adamos, храните в base64, или в json с преобразованием utf в коды.

[Антон Шаманов]

Vitsliputsli, там висивиг редактор т.ч. ограничить проблематично. кодировку таблицы нельзя сменить как раз по причине того, что есть другие приложения использующие таблицу, поэтому хранить в другом формате не вариант.

[Vitsliputsli]

Антон Шаманов,

висивиг редактор т.ч. ограничить проблематично

Странно, неужели не умеет такое из коробки? Тем не менее это наиболее простой для вас и наиболее удобный для пользователя вариант, если не менять таблицу.

кодировку таблицы нельзя сменить как раз по причине того, что есть другие приложения использующие таблицу, поэтому хранить в другом формате не вариант.

Это проблема, если в БД пишет код, которым вы не управляете, такое чревато.

[Aetae]

Антон Шаманов , а в таблице хранится именно текст или таки html? Если второе то можно просто кодировать все "лишние" символы как html-entity: ©.
Как-то так(не большой знаток php):

<?php
function charToUnicodeCodePoint($char) {
    return mb_ord($char, 'UTF-8');
}
function charToUnicodeRegexp($char) {
    return '\\x{' . str_pad(dechex(charToUnicodeCodePoint($char)), 4, '0', STR_PAD_LEFT) . '}';
}
function charToUnicodeHTML($char) {
    return '&#' . charToUnicodeCodePoint($char) . ';';
}

$koi8r = array_map('charToUnicodeRegexp', mb_convert_encoding(array_map('chr', range(0, 255)), 'UTF-8', 'koi8r'));

function convertRestToHTMLEntities($inputString, $symbolsToPreserve) {
    $pattern = '/[^' . implode('', $symbolsToPreserve) . ']/u';
    return preg_replace_callback($pattern, function ($matches) {
        return charToUnicodeHTML($matches[0]);
    }, $inputString);
}

$input = "Привет ☎";
$converted = convertRestToHTMLEntities($input, $koi8r); // Привет &#9742;

echo $converted;

// ... mb_convert_encoding($converted, 'koi8r', 'UTF-8');

[Антон Шаманов]

Aetae, кстати, тоже хороший вариант, спасибо

[Антон Шаманов]

Vitsliputsli,

неужели не умеет такое из коробки

а какой редактор это умеет из коробки?

такое чревато

там только чтение т.ч. нет

Answer 1

[nokimaro]

Двойной конверт через iconv() нормальный и "не дорогой" вариант utf8 -> koi8r -> utf8
Можно используйте флаги типа //TRANSLIT или //IGNORE
Соотв-но если изначальный utf8 не равен итоговому utf8 значит в исходной строке были символы вне кодовой таблицы koi8r

Так же можно попробовать часто-используемые символы типа символа рубля закодировать в ₽ или ₽. Естественно если при отображении данных делается escaping для html (html_entity_encode / htmlspecialchars) это надо будет учесть чтобы & не превратился в &

Comments

[Vitsliputsli]

Соотв-но если изначальный utf8 не равен итоговому utf8 значит в исходной строке были символы вне кодовой таблицы koi8r

Придется пользователю сообщать чтото вроде "у тебя тут в тексте 'нехорошие' символы, хз где, сам ищи..."

[Михаил Ливач]

Vitsliputsli, по схеме с двойной конвертацией и //IGNORE можно и показать, где именно нехорошие символы

[Vitsliputsli]

Михаил Ливач, да, согласен, можно посимвольно сравнить. Тогда замечание снимается.
Но я бы в этом случае просто белый список символов сделал прямо на фронте.

[Антон Шаманов]

Vitsliputsli, интересная идея, а есть какие-то решения для конвертации текста на js?

[Михаил Ливач]

Vitsliputsli, идея с белым списком мне нравится!

Антон Шаманов, а зачем конвертация? При вводе с клавиатуры проверяем по белому списку посимвольно; что ввелось, то точно конвертируется на бэкенде. Для Copy/Paste тоже, думаю, есть решение

[Антон Шаманов]

так, а зачем двойной конверт? utf8 -> koi8r//TRANSLIT вроде нормально справился

[Михаил Ливач]

Антон Шаманов, а что произошло с неподдерживаемыми символами?

[Антон Шаманов]

Михаил Ливач, они конвертировались, например, — в --, мои коллеги грешили знаками валюты, тире и кавычками т.ч. для моей задачи этого вполне достаточно оказалось