В качестве перестраховки от падения виртуальной машины - почему бы нет? Не делайте его большим и сделайте vm.swappiness = 20. Тогда swap будет использован только в крайнем случае, а его небольший размер будет давать минимальный оверхед для его поддерживания.
