Если сервер физически недоступен, то Для начала включит фаерволл и отключить на нем исходящие соединения, да и входящие тоже, кроме ssh.
Затем посмотреть, какие процессы жрут память. Убить родителя. Посмотреть скрипты запуска на наличие вредоносов.
Если сервер в физическом доступе, то загрузиться с СД например и пройтись по файловой системе..
Ну и не сказали, что стоит на сервере..
Если не подобран рутпароль, то скорее всего сломаны php скрипты (дырявая CMS).
А вообще-то фаерволы с закрытием клиентских коннектов рулят от таких ситуаций. Даже если сломали, то выйти за пределы сервера сложно. На firehol делается в 3 строчки, рекомендую, настоятельно!
Ну а по делу, отключайте сначала почту, затем веб-сервер, затем крон и так далее, пока не найдете причину. Ну и смотреть на выдачу top, кто и какие пользователи жрут память и процессы плодят.