Правильно - так, чтобы документирование помогало решать типовые и аварийные вопросы и отнимало минимум времени и нервов. Для каждой организации хорошая документация будет выглядеть по-разному. Материалов много (на вскидку:
1,
2,
3,
4), смотри, читай, выбирай то, что для тебя актуально. Ну и старайся не плодить документы с похожими данными, если после переноса сервера из одной стойки в другую требуется изменить три xls файла, внести правки в вики в пяти местах и исправить четыре схемы в визио, то вероятность того, что через несколько лет в этих документах будет разная информация весьма велика.
Wiki - очень неплохое средство вести общую документацию, особенно при наличии нескольких администраторов, но одной wiki мало.