Обычно таким образом Java ругается на то что ей не хватает памяти (совсем, даже на элементарные действия описанные вами). Легче всего это происходит в виртуалках если пожадничать при присвоении ОЗУ.
Можно попытаться при вызове программы выставить Java ограничение по памяти: java -mx256m %programname%.
В крайнем случае убейте что нибудь на сервере и попробуйте освободить память перед перезапуском программы.
