Sergo17,
во-первых, это конечно же putty,
во-вторых, нужен какой-нибудь sftp клиент, например, очень удобный winscp,
в третьих, т.к. практически все настройки практически всех приложений в Debian, включая системные компоненты, хранятся в виде обычных текстовых файлов то нужен простой, быстрый и немножечко умный текстовый редактор, например, notepad++

трёх этих программ будет достаточно, чтобы полностью, с комфортом, настроить vps сервер для ваших нужд

различные мониторинги ресурсов

помимо простого top и более продвинутого системного монитора htop, существуют довольно сложные и многофункциональные системы мониторинга, например, nagios, zabbix, но для новичка они будут непосильно сложны, поэтому для начала лучше воспользоваться, например, очень лёгкой, но функциональной системой мониторинга munin