Вместо удаления можно отредактировать в сообщении параметр reply_markup

@dp.callback_query_handler(text="тут название твоей callback_data")
async def call_main_menu(call: CallbackQuery):
    await bot.edit_message_reply_markup(
        chat_id=callback_query.from_user.id,
        message_id=callback_query.message.message_id, 
        reply_markup=None
    )