Просто так, без дополнительных инструментов, естественным путем html не умеет импортировать в себя другой хтмл, Но!
Вы можете взять какой-нибудь сборщик вашего кода, например
gulp, настроить, чтоб из одной папки он брал ваши файлы и складывал в другую
Также добавьте в сборку пакет
gulp-rigger, после этого вы сможете внутри ваших html файлов использовать конструкцию, вида:
<body>
//= templates/header.html
<div>
...
</div>
//= templates/footer.html
</body>
где templates - это папка с вашими переиспользуемыми хтмл-ками, относительно той хтмл-ки, в которой используется вставка
Во время работы вы можете настроить чтоб Gulp смотрел изменения в вашей рабочей папке c хтмлками, например src и в режиме реального времени добавлял в них вставки в отдельную папку, например public
Или просто запуская команду собрать проект в консоле gulp пройдется по вашим файлам и внесет нужные изменения
Еще про сборку(с этими инструментами) доступно написано
здесь