Собственно ssh-agent — аналог Pageant из комплекта PuTTY. Использование: генерим на своей машине пару закрытый-открытый ключ, закрытый ключ защищаем паролем при создании. Открытый ключ дописываем в .ssh/authorized_keys на удалённых машинах.
Пробуем логиниться на удалённые машины и наблюдаем, что если раньше надо было ввести password от удалённого юзера, то сейчас надо ввести passphrase от локального закрытого ключа. Когда это надоест, можно воспользоваться Pageant или ssh-agent: запускаем его, просим расшифровать закрытый ключ в память, вводим passphrase, и с тех пор при заходе на удалённые машины passphrase уже не требуется. ssh-agent держит расшифрованный закрытый ключ в памяти и позволяет сторонним процессам использовать его, но не позволяет читать сам ключ.
Если у ssh-agent указана команда (x-session-manager в нашем случае), эта команда запускается подпроцессом ssh-agent'а, и ssh-agent завершится вместе с этим дочерним процессом. Похоже, ssh-agent навешивают на иксовые сессии именно таким образом.
P. S. X11 Forwarding — это другая фича ssh. X11 клиенты авторизуются посредством волшебного кукиса (.Xauthority), к которому обычно имеют доступ только локальные процессы, запущенные тем же юзером. Чтобы кукис не утекал на лево, как мера безопасности, ssh на удалённой машине использует другой кукис и после проверки подменяет его в протоколе на локальный кукис.