Если сервер не в локальной сети, а где-то далеко в интернете, то будет работать медленно, да и локальной сети не сказать, что быстро...
Как вариант можно попробовать задействовать слабое шифрование, и выключить сжатие (как-то так Ciphers=arcfour,Compression=no,auto_cache, arcfour может быть выпилен в свежем SSH), но это особенно не поможет, тут всё упирается в латентность сети...