WayMax

Среда разработки - Visual Studio (есть бесплатная редакция Community)
Язык - C#
Графическая библиотека - WinForm
COM-объект для работы с Вордом - Microsoft Word 14.0 Object Library (где 14 - это 2010 Ворд)

Под винду, с "быстрым" порогом вхождения и с кучей документации - C#. Единственный минус только под винду.
Если надо что-то кроссплатформенное - то Qt.
Java для GUI наименее всего подходит + нужно чтобы на компьютерах была установлена "виртуальная джава машина" JRE.