Так гугл же!
Первое, что гуглится по запросу
python docx template - библиотека
docxtpl
Под капотом используется известная в этих кругах либа
python-docx для возни с документами + также популярная jinja2 для, собственно, шаблонизации.
И да - про именно
.doc, старый добрый бинарный проприетарный формат, скорее всего, придётся забыть. Только
.docx.
в нём есть некоторый шаблон, подставляются значения из самой базы
Если нет возможности или желания переводить ваш синтаксис шаблонов в jinja2 - тогда берите напрямую python-docx и сами пишите логику по замене токенов в шаблонах на нужные значения из БД.