на днях как раз исследовал вопросssh-agent`а (далее "агент"):
ssh-add использует сокет, который прописан в переменной окружения SSH_AUTH_SOCK
обычно эту переменную можно установить при запуске eval $(ssh-agent -s)
ну или "ручками", зная имя сокета (можно найти, например, сокет уже запущенного агента:
# lsof -U | grep $USER | grep ssh-agent
в общем случае, при запуске иксов обычно запускается свой экземпляр агента, устанавливается, и все дочерние процессы уже "имеют этот" сокет в SSH_AUTH_SOCK
поскольку это сервер, вряд ли там есть иксы, и при входе через ssh или tty нужно стартовать свой процесс агента или "восстанавливать сокет" от уже запущенного (в screen или tmux, например)
но и то, что вам показывает ps, ещё не факт, что это ВАШ агент, Вы убедитесь в этом, хотя бы посмотрев, под каким пользователем он запущен ps -eF
а то, сдаётся мне, может быть второй пользователь ведёт себя как Вы:
запускает агента, вы его грохаете, у него перестаёт работать, он грохает ваш , и так по кругу )))