Сам спросил, сам ответил:
Перелопатив кучу англоязычной мукулатуры:
1. есть ль альтернатива AWT-шным средствам работы с треем в Java 8?
Да. Через пень-колоду-нативные методы (обращающиеся к вызовам ОС). Как, я понял, копать нужно в сторону SWT и иже с ними. Да так что проще заюзать AWT (для моей задачи)
2. можно ли средствами JavaFX 8 работать с треем не прибегая к awt/swing?
Нет. JavaFX 8 не поддерживает работу с треем. Возможно, поддержка работы с треем будет добавлена в 9й версии. А пока - сосите палец, мишки.
Итог:
Приложение оставил на JavaFX 8, а работу с треем вынес в отдельный класс, который написан с использованием AWT SystemTray.