Как защитить VPS от брута?

Здравствуйте. Есть VPS, под ubuntu, на нём выполняются некоторые программы подключаясь к двум адресам в инете. Как закрыть вход на сервер так чтобы не было возможности войти на сервер, даже у меня?