Для того, чтобы X client applications, запущенные на удаленной машине, могли подсоединиться к вашему X Server. В качестве аутентификации по умолчанию используется SSH. ssh-agent это утилита для управления ключами.
Например, у вас на удаленном сервере запущена программа администрирования системы. Это программа коннектится к X Server на вашей локальной машине и позволяет вам конфигурировать удаленную машину в графическом режиме.