Telethon "славится" своей медленной загрузкой/выгрузкой файлов. Автор библиотеки заявил, что
не собирается усложнять код загрузки, чтобы сделать её быстрее.
Вместо Telethon вы можете использовать
Kurigram(форк Pyrogram, поскольку он заброшен) в связке с TgCrypto. Это обеспечит вам максимальную скорость.
Если даже после перехода на Kurigram скорость вас не устроит, стоит рассмотреть ограничения со стороны самого Telegram. Для простых смертных действуют определённые лимиты скорости(на данный момент мне не известно какие именно). Подписка Telegram Premium снимает эти ограничения, предоставляя максимальную скорость, которую может вам обеспечить сервер.