Есть решение. Возможно уже неактуально, но может кому-то пригодится.
Сначала надо перейти в папку с pyrogram в файл scaffold.py
Папку с pyrogram находим следующим кодом.
import pyrogram
print(pyrogram.__file__)
Конкретно у меня в ошибке был написан этот файл и 65 строка.
Выглядела так.
with open(f"{os.path.dirname(__file__)}/mime.types", "r", encoding="UTF-8") as f:
Стало так.
with open(f"{os.getcwd()}/mime.types", "r", encoding="UTF-8") as f:
Теперь файл mime.types будет открываться из папки с проектом. То есть этот файл нужно скопировать в проект.
После этого можно использовать pyinstaller и все будет работать.