xdg-open - правильный способ.
В результате или тишина, или ошибки недостатка прав, gtk....
сообщение об ошибке было бы лучшим способом помочь
Как именно запускается javafx приложение? из локального контекста и с правами текущего пользователя? или к примеру из ssh соединения с ручным указанием DISPLAY? По умолчанию xserver ограничивает подключения к себе только локальным пользователям (но ssh -X будет работать и с удаленными, если это разрешено в конфиге sshd).
p.s. если используется wayland то там еще больше непонятностей