Размещайте пароль в отдельном от проекта месте, вне системы дистрибуции обновлений (не важно каким способом вы устанавливаете и обновляете приложения, конфиги это не должно затрагивать, есть исключения но вопрос там не такой простой как кажется, требует отдельного исследования и ваших задач) управляемые отдельно. Самый простой и дубовый способ - конфигурационный файл в системном каталоге, например /etc или ~/.config или %appdata% если windows или любой другой на ваш выбор.
Можно хранить данные на специальном сервере, и выдавать не обязательно через файл, пусть это будут сетевые запросы, даже если и http...
В одном моем проекте у меня крутился примитивный самописный сервер для локальной сети, все экземпляры приложений обращались к нему за чувствительной информацией, в том числе за паролями к используемой базе данных. Каждая инсталляция имела в конфигурационном файле уникальный apikey, идентифицирующий ее, передав ее сервер паролей возвращал запрошенные параметры доступа к базе данных (базы были non-sql без своих инструментов управления доступа и sqlite), баз было несколько, этот сервер управлял еще и нагрузкой на них. Приложения каждый раз перед запросом в базу спрашивают сервер и смена настроек почти моментально разносится по приложениям.