На чем сейчас пишут десктоп приложения на Java/C#?
Зависит от того нужна ли кростплатформенность. Как правило сейчас она не нужна и формы клепают только под винду. Думаю C# в данном случае будет удобнее.
На счет C# очень много противоречия, между старой Form и WPF, какую использовать
WPF
У JavaFX больший набор GUI компонентов, в сравнении с Swing. Есть возможность построения GUI интерфейса в Screen Builder.