Как называется это свойство набора кодов (словаря)?

Question

[Mercury13]

Для любых ненулевых строк A, B, C и произвольной D
Если A и ABC∈ℋ, то BD∉ℋ

Это НЕ префиксный код, но обладает кое-какими его свойствами.

Вроде бы этим свойством обладают эмодзи Юникода. (UPD. НЕ обладают, но всё равно интересно знать.)

Comments

[Wataru]

Юникод - это таблица из 32-битных кодов. Они все одинаковой длины и любой 32-битный код - это символ юникода. Возможно, не определенный еще. Описанного вами свойства там нет.

Вы про кодировку UTF-8? Которая есть лишь более плотный способ записи? Вроде как тут тоже этого свойства нет.

[Mercury13]

Wataru, НЕТ. Кодовые позиции Юникода в любом из форматов его сериализации (UTF-8, UTF-16) — префиксный код: A∈ℋ → AB∉ℋ. Ну а любой код фиксированной длины (UTF-32) префиксный по определению.

Эмодзи Юникода обладают более лёгким, но тоже интересным свойством. Рассмотрим, например, эмодзик «феникс»: BIRD ZWJ FIRE. Видно, что эмодзи — НЕ префиксный код: BIRD∈ℋ, BIRD ZWJ FIRE∈ℋ.

Но при поиске этих эмодзиков алгоритмами типа Ахо-Корасик получается, что если у нас BIRD ZWJ RABBIT → обнаружив кролика, мы просто возвращаемся в начало поискового дерева и снова ищем этого кролика от корня. 80% сложностей этого алгоритма отпадают из-за особенности тех строк, что мы ищем.

[Lynn «Кофеман»]

По сути вы хотите сказать что «B» это соединительный символ который обязан стоять между двумя несоединительными

[Mercury13]

Lynn «Кофеман», Где-то через соединительные символы, где-то через модификаторы/умляуты…

[Lynn «Кофеман»]

Mercury13, модификаторы не подпадают под условие «Если A и ABC∈ℋ»

Но если говорить чисто про Emoji там же этих модификаторов меньше 10 штук, а соединитель вообще один, может и не нужно так заморачиваться?

[Wataru]

Mercury13,

НЕТ. Кодовые позиции Юникода в любом из форматов его сериализации (UTF-8, UTF-16)

Я и спросил, вы именно про способ записи? Да, UTF-8 - префиксный код, потому что там длина кода закодирована в первом байте. Но это не ваше свойство. Ведь ваше свойство подразумевает, что код не префиксный.

Вы, видимо, путаете юникод, как битовый код, и способ инерпретации последовательности юникодовских символов в виде одного эмодзи. Это вообще не код в смысле, что мы читаем поледовательность кода и ставим ей в соответствие какой-то символ. Просто вот этот ZWJ - это специальный символ, который говорит, что надо соединить два символа в один при отрисовке.

Тут не какое-то свойство кода, а просто специальный символ. И название у такой штуки "Zero width joiner sequence"

[Mercury13]

Wataru, Собственно, набор эмодзиков (все 3000 штук), будучи преобразован в поисковое дерево, кажется, обладает этим классным свойством.

[Mercury13]

Wataru, Сам я «буквой» считаю кодовую позицию Юникода, так мне надо, но из-за префиксности форматов сериализации UTF-8 и 16 в них эти 3000 эмодзи также будут обладать этим свойством.

Answer 1

[Wataru]

Нету у этого свойства никакого имени. Вы его слишком обобщили. Свойство - определенные символы не могут идти в начале слова. Вот и все.

Answer 2

[mayton2019]

Если твой парсер строк - это конечный автомат (Finite-State-Machine)
то твой вопрос звучит как существуют ли запрещенные переходы внутри этого
автомата.

Как в английском это звучит я не знаю. Prohibited? Disabled? Короче я учил теорию
автоматов по Совестким учебникам. Поищи сам.

Не стоит циклиться на названии.

Comments

[KukarekusUltra]

Хочу немного подправить, в английском сегменте конечный автоматы для парсера языков называют NFA (Nondeterministic finite automaton) и DFA (deterministic finite automaton). А FSM это более общая штука. Например программа которая вызывает скрипты в зависимости от состояния программы, это тоже конечный автомат.