Антон

Сам спросил, сам ответил:
Перелопатив кучу англоязычной мукулатуры:

1. есть ль альтернатива AWT-шным средствам работы с треем в Java 8?
Да. Через пень-колоду-нативные методы (обращающиеся к вызовам ОС). Как, я понял, копать нужно в сторону SWT и иже с ними. Да так что проще заюзать AWT (для моей задачи)

2. можно ли средствами JavaFX 8 работать с треем не прибегая к awt/swing?
Нет. JavaFX 8 не поддерживает работу с треем. Возможно, поддержка работы с треем будет добавлена в 9й версии. А пока - сосите палец, мишки.

Итог:
Приложение оставил на JavaFX 8, а работу с треем вынес в отдельный класс, который написан с использованием AWT SystemTray.

Тимур натолкнул меня на размышления, которые в итоге решили проблему.
И так, ответ на вопрос:

.separator *.line {
-fx-border-style: solid;
-fx-border-width: 0 0 1 0; /* фишка в задании толщины только одному из бордюров */
-fx-border-color: red;
}

Итог: полноценный бордер толщиной в 1px