Как «устроены» Emoticons?

Question

[Глюкъ Виртуален]

Как "устроены" Emoticons?
Как можно однозначно определять, что они присутствуют в полученном ответе?
Вот например:

{
"date":1476961874,
"text":"\ud83c\udf45"
}

Answer 1

[Mercury13]

Вопрос: этот JSON мы разбираем или нет?
Для простоты предположим, что разбираем (ну или транслятор JS разбирает — всё едино). Тогда текст у нас закодирован в UTF-16.
• Символы 0000…D7FF — они и есть.
• Символы D800…DBFF — за этим символом должен идти символ из DC00…DFFF, и они образуют суррогатную пару, которая будет одним символом. Подробнее гугли «UTF-16». Если идёт один из этих двух символов без пары — это некорректный UTF-16.
• И символы E000…FFFF также кодируются как есть.

Вот эта суррогатная пара, которую ты подкинул, кодируется в символ 1F345, помидор какой-то.

Функция конвертации суррогатной пары в код символа:

charCode = 0x10000 + ((leadingCode & 0x3FF) << 10) + (trailingCode & 0x3FF)

А уж какие коды вам не нужны — копайте таблицы Юникода.

Более простой способ, который вам может подойти — запретить все суррогатные пары.

Comments

[Глюкъ Виртуален]

Да, json разбираем, но на стороне сервера, там php.
Я попытался найти регулярное выражение, по которому можно однозначно определить, есть ли эмодзи во входящем json и обломался.
Как транслировать последовательности вида "\ud83c\udf45" в приведенный вами диапазон символов?

[Mercury13]

На клиенте на JS или на сервере на PHP?

[Глюкъ Виртуален]

Mercury13: на сервере на php.

[Mercury13]

В общем, на JSON-исходнике не надо ничего пытаться делать.
На PHP — надо, во-первых, смотреть, во что эта бяка перекодировалась. А она могла перекодироваться либо в настоящий UTF-8, либо в два суррогатных символа, закодированных в UTF-8, либо остаться символами экранирования.
Это тоже надо проверить.
А затем — написать функцию, которая разбивает строчку на кодовые позиции. Для UTF-8 вот она.
https://habrahabr.ru/post/113715/
А потом уж смотрим, что делать с номерами символов.

[Глюкъ Виртуален]

Mercury13: там json_decode() на входе, вся остальная логика уже за ней.
И я не могу поймать то, что получается — даже в логе готовые помидоры светятся :(

[Mercury13]

Если в логе помидоры — это хорошо, хотя бы что-то стандартное. А если открыть лог HEX-редактором, что он выводит?

[Глюкъ Виртуален]

Mercury13: а в хексе я вообще ничего не понимаю...
Два разных эмодзя, и соотв F09F8D8D и F09F9880. Но вы же говорите что они должны начинаться с D?

[Mercury13]

Ну и насчёт диапазонов, которые надо резать скопом.
2B00…2BFF Большая куча стрел (простые сюда не входят)
2600…26FF Разные символы (в т.ч. астрологические, химические, туристские)
2700…27BF Картинки
1F300–1F5FF Здоровая подборка картинок (тут и наш помидор)
1F600…1F64F Смайлики
1F650…1F67F Типографские украшения
1F680…1F6FF Туристские символы
1F900…1F9FF Куча картинок, пока не заполненная

[Mercury13]

Супер, «странный UTF-16» нормально перекодировало в UTF-8. Остаётся только вон той функцией заполучить их 32-битные коды, и в случае выпадения false (символ неверный или из пользовательского дипазона) или какого-нибудь символа из наших диапазонов бить тревогу.

[Mercury13]

какого нибудь КОДА из наших диапазонов — функция возвращает целые числа.

[Mercury13]

Казалось бы, прогеру не нужно знать все эти UTF — но… 1) ОЧЕНЬ многие языки разрабатывались, когда символ был 16-битным; 2) 8-битная обработка экономит ресурсы, а 32-битная — избыточна. Приходится, млин, всё это помнить, и всё, что остаётся — разрабатывать какие-нибудь итераторы, которые получают символ или говорят: дрянь попалась.

[Глюкъ Виртуален]

Mercury13: дак та функция на входе двоичные требует... это что — еще одно преобразование? :(

[Mercury13]

Нет.

foreach ( explode ( ' ', '11010000 10011111 11010001 10000000 11010000 10111000 11010000 10110010 11010000 10110101 11010001 10000010 00100000 01001000 01101001' ) as $octet ) {
    $tmp .= chr ( bindec ( $octet ) );
}

Видишь, это преобразование двоичного в символы, генерация тестовой строки? Это нам не нужно.
Наш код вот…

$len = strlen ( $tmp );
for($i =  0; $i < $len; $i ++) {
    if (true == ($result = $obj->getCodePoint ( $tmp, $i ))) {
            // делай что-то хорошее с $result
    }
}

[Mercury13]

И непонятно, с какого застоя getCodePoint всунули в объект. Данных-то у объекта нет…

[Глюкъ Виртуален]

Mercury13: да там блин вопросов больше чем ответов...

[Mercury13]

В общем, перед нами простое «потоковое» декодирование UTF-8.