1) Они пишут свое серверное ПО или используют openvpn сервер?
Не зачем.
Кроме биллинга - это целесообразно и самостоятельно.
2) Если используют openvpn то как можно настроить доступ к vpn серверам по логину и паролю?
Кроме OpenVPN полно и других. Например, Strongswan.
3) Выгодно это если ставить vpn сервера на vps?
Это не технический вопрос.
Вы наберите сначала где-то столько клиентов чтобы у вас окупалось...