есть ли инструмент типа LaTeX, в котором можно более гибко задать оформление
Есть. LaTeX называется. Оформление там супергибкое. Какое надо, такое и делаете.
с нормальными таблицами
Там таблицы можно делать почти любые (самый гибкий инструмент для создания таблиц). Пользуйтесь пакетами (например, booktabs), а не ограничивайтесь встроенными возможностями.
который создавал бы не PDF, а word/odt файл
Это в MS Office или LibreOffice. Офисного качества достигнете.
Дополнение.
С помощью Pandoc можно конвертировать из LaTeX в кучу других форматов, но результат может не устроить. Хотя там можно попробовать шаблон свой сделать для конвертации.