Keramxx

Telethon "славится" своей медленной загрузкой/выгрузкой файлов. Автор библиотеки заявил, что не собирается усложнять код загрузки, чтобы сделать её быстрее.
Вместо Telethon вы можете использовать Kurigram(форк Pyrogram, поскольку он заброшен) в связке с TgCrypto. Это обеспечит вам максимальную скорость.
Если даже после перехода на Kurigram скорость вас не устроит, стоит рассмотреть ограничения со стороны самого Telegram. Для простых смертных действуют определённые лимиты скорости(на данный момент мне не известно какие именно). Подписка Telegram Premium снимает эти ограничения, предоставляя максимальную скорость, которую может вам обеспечить сервер.

Не забывай что нужно передавать параметры в виде массива, ты просто запятую забыл.
def add_userd(self, user_id):
  with self.connection:
    return self.cursor.execute('INSERT INTO `users` (`user_id`) VALUES (?)', (user_id,))
                                                                ↑

Я не смотрел код, ибо мне лень, но я знаю как решить.

Если упоминание происходит через ответ на сообщение, то:
  Нужно по айди проверять, тот ли это пользователь.
  То есть, нужно будет в каллбэк дате передавать айди человека, в ответ на которое была отправлена команда, и
  в начале функции проверять тот ли человек нажал, если нет - return
Если упоминание происходит через упоминание(юзернейм):
  Нужно запрашивать информацию о человеке, уже оттуда брать айди и далее всё тоже, что описано выше.
  Также я бы порекомендовал првоерять находятся ли в сообщении текстовые упоминания. Если человека упомянули в
  виде текста, то в энтити будет находится объект(User) этого пользователя, уже оттуда брать айди и опять же, всё то же,
  что описано выше.

Надеюсь помог