Все это настраивается в конфигах вашего веб-сервера.
Все зависит от того
nginx у вас, или
Apache.
Судя по тому что у вас имеется файл
.htaccess - у вас Apache.
В таком случае добавьте в него следующие строки,
до реврайта ссылок:
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-f