Про pug-include уже ответили, это правильное решение.
Поскольку хочется без сервера, есть парочка мыслей.
В качестве эксперимента и для себя, попробуй "сварить" вот это)
al-scvorets.github.io/wm-html-include.jsЯ помню, меня сильно затянуло, когда первый сайт сделал так, для себя)
(выделил, как наиболее интересное решение)
А также есть старенькая технология SSI
htmlbook.ru/webserver/ssi
В принципе, тоже само по себе рабочее.
Нагуглил еще одно решение HTML Import, если честно не пробовал.
https://www.html5rocks.com/en/tutorials/webcompone...
Но судя по описанию, с вашей задачей справится.