Это нормальная ситуация.
Смотрите - в памяти есть данные которые мало востребованы, система скидывает их в своп, но из памяти не стирает.
Если вдруг потребуется выделить много памяти, система мгновенно выделит эту память, так как данные уже в свопе.
Не потребуется память - они так и останутся в памяти и будут доступны со скоростью памяти.
В итоге - максимальное быстродействие и максимально эффективное использование памяти.
Вообще там много тонкостей, например память зачастую фрагментируется, что делает ее менее эффективной, дефрагментация осуществляется опять же с помощью свопа, и.т.д.
В итоге небольшое использование ОС свопа в фоновом режиме это нормально и полезно. Даже когда оперативки у вас достаточно. Ненормально если памяти мало и все приложения активно свопятся.