ЕМНИП, у JavaFX траблы есть с треем. Под виндой все норм, в линуксе (проверял на Linux Mint 17 KDE) не отображается значок. Скорее всего это можно забодать, я не разбирался особо. Если умеете в Java, но не умеете (и не хотите тратить на изучение время) в C++, можно взять библиотеку
Qt Jambi. Предупреждаю, что проект загнулся и не развивается, но то что сделано должно закрыть Ваши потребности.
Но все-таки я настоятельно рекомендую Qt (на плюсах) - он прекрасен.