Ставьте winscp, через него будете ходить по вашей vps первое время. И оттуда же можно вызвать putty для работы через консоль
Чтобы поставить например веб сервер и привычную вам панель, но бесплатную как на шаред хостинге с бэкапами, phpmyadmin и прочим рекомендую vestacp, ставится в 1 команду, их сайте.
Я так начинал несколько лет назад, сейчас уже виртуалки под линуксом на винде стоят и много чего еще делаю, все на серверах и через консоль.