Предлагаю вам убрать декоратор перед def calc и положите эту функцию куда нибудь повыше.
А там где вы просите ввести мат. действие вместо того что у вас стоит поставьте это:
bot.register_next_step_handler('Введите любой пример или математическое действие', calc)
Вроде должно работать