1. Все пароли делятся на логические группы, например: пароли от коммутаторов уровуня доступа, пароль от консолей IPMI серверов, пароли root от серверов Linux и т.д. (в Вашем случае это скорей всего будет разделяться по проектам)
2. В каждой группе назначается "старший" который ведет базу и выдает пароли по мере надобности, поддерживает ии в актуальном состоянии и т.д.
3. Вся-вся база доступна IT директору и лицу, его замещающему. (старший менеджер всех проектов или аналогичное лицо)
Само собой что пароли хранятся с использованием соответствующего менеджера паролей (на вкус и цвет). С резервным копированием и защитой "от дурака" :)