Почему телеграм шлет неправильную длину entity?

Question

[che_aa]

У меня есть код который печатает текст сообщения, длину текста и форматирование сообщения.

import telebot 


bot = telebot.TeleBot(token)


@bot.message_handler(content_types=['text'])
def messages(message):
	print('text: ')
	print(message.text) 
	print('len: ')
	print(len(message.text))
	print('entities: ')
	print(message.json['entities'])
bot.polling(none_stop = True, timeout=123)

На выходе я получаю:

text: 

len: 
1
entities: 
[{'offset': 0, 'length': 2, 'type': 'text_link', 'url': 'https://github.com/eternnoir/pyTelegramBotAPI'}]

Почему телеграмм шлет неправильную длину форматирования? Я заметил что это работает только со смайликами, и то не со всеми, как это можно отследить и исправить?

Comments

[AlbertForest]

А мысль, что проблема не в телеграмме, а в болте, положенном на изучение документации вас не посещала?
Полагаю, что смайлики вы считаете штуками))

[che_aa]

i3a4em, И в чем же проблема, если вы такой гуру api телеги?

[AlbertForest]

che_aa, Я вовсе не гуру. Глянь какая там кодировка, кодируй смайлики и считай длинну. Я бы сделал пример но с телефона не удобно

Answer 1

[AlbertForest]

@bot.message_handler(content_types=['text'])
def messages(message):
    if message.json.get('entities'):
        print(f"tg length: {message.json['entities'][0]['length']}")
        print(f"calc length: {len(message.json['text'].encode('utf-16-le')) // 2}")

bot.polling(none_stop = True, timeout=123)

Answer 2

[Elvis]

Потому что unicode:

len('a'.encode('utf-8'))
len('ǣ'.encode('utf-8'))
len('橦'.encode('utf-8'))
len(''.encode('utf-8')) # тут на самом деле смайлик в кавычках, просто QnA его съел

1
2
3
4

Смайлик с флагом вообще 8 байт

Comments

[che_aa]

print(len(''.encode('utf-8'))) #4
print(len('й'.encode('utf-8'))) #2

В юникоде смайлик имеет 4 символа, когда телеграмм ссылка имеет длину 2, а русские символы имеют длину 2, хотя телеграмм по 1 пишет