Пароли использовать в принципе нельзя, с учетом того что ансибл владеет доступом к системе на уровне рута у вас нет по сути другого способа, как использовать пользователя с судо на стороне настраиваемого сервера.
И да если вы профукали доступы к ансибл серверу вы профукали доступ ко всем серверам.
С точки зрения безопасности это вообще нормально, так как логично держать сервер ансибл без возможности внешнего доступа