Можно.
Мы даже сервера для работы десятков пользователей ставили на VPS.
Windows - RDP, VNC, TeamViewer
Linux - VNC или FreeNX, X11 over ssh, TeamViewer
Но будут лаги. Будут ли они велики, будут ли вас раздражать - это другой вопрос. Пробуйте.
Однако компьютер в арену (для долговременного использования) будет дороже чем свой компьютер