Возможно, Java дуреет от x64.
В качестве частичного решения этого и других вопросов с памятью могу порекомендовать поставить zram, по сути это swap, но сжатый и в памяти. За счёт минимальной нагрузки на CPU позволяет вместить в памяти больше информации, а иногда даже ускорить работу с памятью. Эта штука так же часто доступна на мобильных с Android в кастомных прошивках.
