В принципе, на счет бреда про поисковую оптимизацию и разрешение файла вам правильно сказали, но если чисто эстетически хочется иметь без .php и .html, то вот простой синтаксис.
RewriteEngine on
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME}.php -f
RewriteRule ^(.*)$ $1.php
.html убирается аналогично