Средствами vagrant'а я не нашел способа почистить дубли, но путем экспериментов установил, что образ в ~/.vagrant.d можно удалить, после разворачивания виртуалки (vagrant up). Главное, после того, как развернули виртуалку, убедитесь, что есть первоначальный snapshot, если нет, то создайте сами. Иначе некуда будет откатиться и придется снова скачивать vagrant'овский box.
И, да, сам BOXNAME.box можно смело удалять после распаковки, т.к. это просто архив с образом виртуалки.
В общем, после этих действий у меня осталась только виртуалка с ожидаемыми ~20Гб