нужно прописывать для конкретной папки, и желательно в отдельном файле, например /etc/apache2/conf-available/mysite.conf, а не в общем. Также не забыть включить этот конфиг
<Directory /var/www/mysite/>
AllowOverride All
</Directory>
Так создайте его для конкретных настроек своего сайта чтоб не менять глобальный. Чтоб не было конфликтов при обновлении апача. И включить его надо будет.