ssh по ключу дает вам только возможность подключиться к нужной машине.
Sudo это отдельная сущность. Она может повышать привелегии либо с вводом пароля (по умолчанию), либо без ввода (опция NOPASSWD:). По умолчанию пароль будет браться с машины к который вы подключились (файл с хешем пороля /etc/shadow). Если настроете авторизации через LDAP, то можно и оттуда подтягивать его.
Если Вы имели ввиду можно ли вводить пароль от машины с которой подключаетесь, то нет, так как о базе паролей локальный машины откуда был коннект, машина куда вы подключились ничего не знает. Тут поможет только центролизованное хранение паролей, например как я написал выше в AD\LDAP.
