Дело в том, что библиотека pyinstaller немного не подходит для ваших целей. Дело в том, что, спешу вас расстроить, если вы включите отображение расширений файлов в панели управления, то вы обнаружите, что на самом деле pyinstaller конвертирует .py не в .exe, а в .govnofile...