Как-то так:
def resource_path(relative):
    if hasattr(sys, '_MEIPASS'):
        return os.path.join(sys._MEIPASS, relative)
    else:
        return os.path.join(os.path.abspath("."), relative)
Ну а потом, в процессе инициализации окна:
self.setWindowIcon(QtGui.QIcon(resource_path('file.ico')))
self.tray_icon.setIcon(QtGui.QIcon(resource_path('file.ico')))
Ну и еще, конечно, в spec файл добавить ссылку на картинку в Analysis/binaries:
a = Analysis(['xxx.pyw'],
             pathex=['.'],
             binaries=[('file.ico', '.')],
             datas=[],
             hiddenimports=[],
             hookspath=[],
             runtime_hooks=[],
             excludes=[],
             win_no_prefer_redirects=False,
             win_private_assemblies=False,
             cipher=block_cipher)