Вы изначально должны собирать единый exe не из нескольких exe файлов, а из файлов py (изначальных)
Я так понимаю, вы работаете через pyinstaller.
pyinstaller --onefile file1.py file2.py file3.py и так далее
Просто через пробел перечислите имена всех файлов именно с расширением .py
Желательно порядок файлов выстраивать в соответствии с зависимостью, прописанной в коде (от независимых к зависимым)