Из коробки все компилируется:
GOOS=android GOARCH=arm GOARM=7 go build
И джавы вообще никакой не надо, как и графической оболочки :)
Лучше вообще на Го забыть про всякие там новомодные gui - только консоль, только хардкор.
Если так хочется как можно больше на Го сделать, то решением может быть библитека на нем, а фронт на нативных технологиях: Java/Kotlin или Dart.
Еще есть вариант в виде
привязки к Qt, логику можно писать на Го, графику на QML. Только вот придется весь набор Qt либ тянуть с собой, да и ограничения в лицензировании продукта есть.