А если нужен именно кэширующий прокси то можно поднять с убунты VPN соединение до VPS, например с помощью OpenVPN, а на VPS поднять apache с
mod_proxy, который все запросы извне на VPS будет перенаправлять на убунту.
Думаю в качестве прокси вместо apache можно использовать и nginx(скорее всего даже лучше), но тут я не подскажу, я вебом не занимался никогда.
