Выполнить
deleteMessage, передав в нее чат ID и ID этого сообщения.
@bot.message_handler(content_types=['left_chat_member'])
def remove_leave_message(message):
bot.delete_message(message.chat.id, message.id)
upd - ну и для нуждающихся, так же есть ивент
new_chat_members, отвечающий, как ни странно, за сообщение о новых участниках