> Но как быть в этой ситуации, и нужен ли вообще swap раздел при таком раскладе?
пару гигабайт лучше оставить на всякий случай, т.к. если вдруг кончится память, то за счет свопа будет вероятность того, что он сможет форкнуться и система продолжит функционировать.