Как правильно посчитать длину текста с эмодзи в Python?

Question

[Аркадий Гальченко]

Столкнулся с проблемой при написании функции для телеграм-бота, который обрабатывает текст и добавляет новые entities (свойства текста). Иногда он это делает со смещением. Как показала практика, это связано с подсчётом длины сообщения из-за наличия в них эмодзи.

Многие эмодзи на самом деле занимают два символа, хоть отображаются как одна "картинка". Естественно и длина этих эмодзи определяется как 1 символ.

Пример. Делаем строку с таким эмодзи.

spoiler

Но на самом деле эмодзи из двух символов:

spoiler

Пайтон видит длину так:

spoiler

В итоге в Телеграм сообщение имеем такое смещение при добавлении текстовой ссылки:

spoiler

Как можно исправить этот косяк? Чем и как считать длину? По идее же, это UTF-8 показывает эмодзи как один символ. Может как-то менять кодировку при подсчёте длины?

Comments

[fenrir]

Изображения уберите под спойлер и вместо этого продемонстрируйте код.
По текущему описанию не ясно как между собой связаны ссылки и эмодзи и при чем тут длина текста, телега понимает обычные маркдаун ссылки.
А вообще таких эмодзи, которые состоят из двух символов не очень много и первый это модификатор цвета, а второй сам эмодзи. Уверен есть библиотека для их проверки

[Аркадий Гальченко]

fenrir, изображение более чем понятно демонстрирует проблему. Эмодзи из двух символов считается одним символом. Мне нужно их посчитать посимвольно. Как это организовать.

В моём варианте маркдаун и парс мод не подходят.

[fenrir]

Аркадий Гальченко,

В моём варианте маркдаун и парс мод не подходят.

Здорово написать что решения не подходят, но не объяснить почему и не приложить код.

Ну ок, значит берите пакет emoji и вручную обрабатывайте.

[Аркадий Гальченко]

fenrir, это не решение. Задача в том чтобы посчитать символы в тексте, содержащем эмодзи. Где он дальше используется и как - это уже другой вопрос, я прикрепил просто для наглядности. Если тебе нечего предложить по моей теме, очень жаль.

Нужен код? Вот код.

s = "" #эмодзи удаляет хабр
print(len(s))

Нужно, чтобы len показала реальную длину эмодзи в символах — два символа.

[Модератор]

Аркадий Гальченко, Фрагменты кода надо размещать в виде текста и оборачивать тэгом code для корректного отображения. Удобно делать кнопкой </>
Это обязательно, см.п.3.8 Регламента.
Сюда же относится traceback, ввод и вывод в консоли и другая структурированная текстовая инфа.

Answer 1

[Freeman]

Проблема наверняка в веб-редакторе, режущем символ цвета. В самом Питоне проблемы нет. Если скопировать цветной эмодзи в нормальный редактор для программистов, отображающий кодировку и коды символов, всё работает.

python emo.py
2

Comments

[Аркадий Гальченко]

Не очень понимаю, о каком "веб-редакторе" речь?

[Freeman]

Аркадий Гальченко, в котором текст TRIENING.py на скриншотах.

[Аркадий Гальченко]

Vapaamies, это не веб-редактор, это IDE Pydroid 3. На Pycharm код работает аналогично. На Visual studio не пробовал. Это "нормальный редактор для программистов"? Да и вообще у меня большие сомнения, что IDE может влиять на считывание эмодзи, скорее сама версия Python или кодировка .py файла

[Аркадий Гальченко]

Vapaamies, проверил, эта беда с любым эмодзи в Телеграм.

При сообщении:

И коде:

...
print(f"len = {len(message.text)}")
print(message.entities)
...

Вывод такой:

len = 7
[<MessageEntity {"type": "bold", "offset": 5, "length": 3}>]

Что само по себе не нормально. Смайл самый обычный, не цветной. А entities показывает смещение 5 и длину 3, как будто 8 символов в сообщении.