В том-то и дело, что это не простые пользователи, им надо иногда выполнять административные задачи. Понятно, что с правами root они могут удалить любые логи, и изменить любые настройки, поэтому я хочу логировать на сервере, с которого они заходят на остальные серверы, и на котором у них нет прав.
Дело в том, что заранее неизвестно что может понадобиться пользователям на удаленных серверах, поэтому нельзя описать в sudoers команды, которые могут быть выполнены пользователями. К тому же возможности по настройке удаленных серверов ограничены. Так что sudo в любом случае не выход.