Можешь взять Delphi, но скорее всего будет проблема с дальнейшим развитием проекта. Linux + MS office это очень странная сборка =)
Вообщем у тебя 4 варианта: 1. C# + Mono; 2. C++ + Qt; Java + Core; Delphi(но с без понятия как ты будешь работать с Linux.) То бишь если отсеять все варианты то самый лучший будет либо Java, либо Qt.
// Какаято странная у тебя постановка вопроса, хочешь .exe но при этом с Linux, хочешь реестры винды но при этом ещё и под Linux, хочешь работу с оффис но и под Linux (хотя это реализуемо)