Решается проблема так:
Сначала удаление
apt-get --purge -f remove roundcube-core
Потом оно ругается на непустые папки, чистим их
rm -fr /etc/roundcube/ *
Потом, если будет переставлять весту, делаем БЕКАП! всех сайтов и баз даных, иначе может затереть все и ставим весту.
НАстраиваем Fast KVM VPS 2017 (Frontend Nginx 1.11.10 + Backend Apache 2.4 PHP (5/7) + VestaCP)
pastebin.com/v0VKjKXW
Профит.