Никак, надо каждый сервер настроить в первый раз (закинуть туда ключ).
Все зависит от того, какой доступ у вас уже есть к этим серверам, но даже chief или puppet и другие штуки нуждаются в том, чтобы ко всем серверам предварительно был настроен доступ по ключу.
Обычно, такая ситуация не возникает вдруг - установку ОС на много серверов автоматизируют, и в процессе установки в том числе и создается юзер и заливается ssh ключ к нему, от имени которого можно затем массово управлять.