Есть ли где-нибудь в доступе информация о частоте использования отдельных символов unicode в разных стилях текста и на разных языках?

Question

[Иван Мельников]

Нужно оценить степень "мёртвости" отдельных символов кодировки cp1251.

Answer 1

[dmshar]

1. Какое отношение Unicode имеет к кодировке ср1251? (Подсказка ср1251 - 8-битная кодировка, Unicode - как минимум 16-битная)
2. Какое отношение к "разным языкам" имеет ср1251(Подсказка ср1251 - кирилическая, а по сути - русскоязычная кодировка)
3. Что означает "мертвость" символа? Ну например, символ "~" почти мертвый. И это не зависит ни от стиля текста, ни от языка.
4. Современный вариант Unicode (по состоянию на май 2019) содержит 137 994 символов. Как ві себе представляете таблицу с частотой их использования?

Comments

[Иван Мельников]

1. Какое отношение Unicode имеет к кодировке ср1251?

Если вы знаете подобную статистику для Unicode, то вы знаете данную статистику для любой другой кодировки.

2. Какое отношение к "разным языкам" имеет ср1251(Подсказка ср1251 - кирилическая, а по сути - русскоязычная кодировка)

cp1251 меня интересует в частности. Как я написал выше, если есть статистика по Unicode, то я могу составить подобную статистику для любой кодировки, в т.ч для cp1251.

3. Что означает "мертвость" символа? Ну например, символ "~" почти мертвый. И это не зависит ни от стиля текста, ни от языка.

Под мёртвостью я понимал неиспользуемость, как, например, большинство из 32 первых символов в cp1251.

4. Современный вариант Unicode (по состоянию на май 2019) содержит 137 994 символов. Как ві себе представляете таблицу с частотой их использования?

Как таблицу с двумя столбцами ("код", "частота использования") и 137 994 строками. Ну или хотя бы первыми 1000 строками.