Мне полюбился asciidoc. Последнее время почти весь свой текст в нём пишу. Конкретная реализация
https://asciidoctor.org/ Есть поддержка формул (AsciiMath и TeX) и диаграмм (plantuml и mermaid) Можно вставлять куски TeX. При рендеринге в PDF или PS очень приличная типографика.
Академисты пишут конечно на latex, но есть недостатки. latex -- инструмент вёрстки, семантической разметки практически нет и неудобо-человеко-читаемо.
Обязательно посмотрите на конвертер pandoc
https://pandoc.org/. Можно писать в чём попало и сконвертировать во что заблагорассудится)