В корне сайта создайте файл .htaccess
В нём пропишите следующее:
RewriteEngine on
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME}\.html-f
RewriteRule ^(.*)$ $1.html
Файлы страниц оставьте с расширением .html, но в URL браузера можно вводить вместо /page.html просто /page