Mod_rewrite и file not exist?

Question

[Dr_Death]

В error.log периодически валятся записи например такого вида:

File does not exist: /*server_path*/*domain*/tags, referer: http://*domain*/tags/*tag*/

Валятся пачками за пару секунд с одного адреса. В .htaccess mod_rewrite написан и работает коректно
RewriteRule ^tags$ /$0/ [L,R=301]
RewriteRule ^tags/$ /tags.php [L]


Т.е. руками все прекрасно работает http://*domain*/tags -> http://*domain*/tags/


Непонятно как оно пробивается через rewrite, а судя по сериям за одну секунду явно не «ручной» запрос. Как будто какие то хитрые запросы, которые пролетают мимо rewrite и ищут папку напрямую. Самостоятельно повторить не удается.

Answer 1

[rasstroen]

А без модификатора L в первом RewriteRule сработает? По идее L останавливает обработку правил, а вам второе нужно сразу

Comments

[Dr_Death]

Нет первое как раз нужно чтобы /tags редиректило на /tags/ а оно уже обрабатывается вторым, чтоб не было одинаковых страниц со слешем и без на конце

[rasstroen]

А страница из лога http://*domain*/tags/*tag*/ корректно открывается? При ее открытии пишется лог, скорее всего apache пытается найти папку /tags/, которой видимо нет, и валится с ошибкой. RewriteRule ^tags/$ /tags.php [L] не распространяется по идее на url вида /tags/blabla

[Dr_Death]

> А страница из лога http://*domain*/tags/*tag*/ корректно открывается?
Да, там обычные страницы с сайта, которые тоже открываются, бывает вообще без рефера такие ошибки. Чуть выше есть еще парочка правил:
RewriteRule ^tags/([^/]+)$ /$0/ [L,R=301]
RewriteRule ^tags/([^/]+)/$ /tags.php?slug=$1 [L]

[Dr_Death]

Может быть конечно пытаются открывать /tags/tag/blabla тогда скорей всего правила не сработают и стоит в конце дописать
RewriteRule ^tags/(.+) /tags/ [L,R=301]
да и не люди тогда это делают 10 раз за 1 секунду

[rasstroen]

Промахнулся и ответил в ещё 1 комментарии(
В access.log апача можно поискать соответствующие записи и понять, что за пользователи (или боты) ломятся по таким url

[Dr_Death]

Да в том то и дело что с того же ip только рабочие запросы в access а 404 нет почему то

Answer 2

[rasstroen]

Может быть, некоторые url не подпадают под правила, можно потестировать конфиг тут martinmelin.se/rewrite-rule-tester/, вводя эти самые referer, и посмотреть, нет ли среди них того, для которого не выполнится ни одно правило

Comments

[Dr_Death]

Нет, урлы то как раз рабочие, думаю проблема вся в том, что на сайте пытаются искать например /MSOffice /_vti_bin и прочее и видимо пытаются проделать такую же вещь с /tags/tag/_vti_bin думая что это папки и конечно тогда правило не срабатывает и ищет файл…

[rasstroen]

Можно дописать в самый конец правило — редирект на 404, если не предусматриваются урлы, не подпадающие не под одно из правил. Тогда такие запросы puu.sh/1FT4a не будут отдаваться апачу, а будут редиректиться на 404 сразу без записи в лог ошибок

[Dr_Death]

Чето толи туплю толи че, но
RewriteRule ^.+$ - [R=404,L]
дает 500 ошибку

[Dr_Death]

В общем пришло понимание откуда ошибка /tags not exist берется, не в ту сторону думал, остальное оставлю на совести fail2ban :D

Answer 3

[elgordo]

Хочу добавить, что у меня однажды был случай, когда я 3 часа потратил на проблему с mod_rewrite: правило не срабатывало, а потом оказалось, что выше него было другое правило, которое срабатывало раньше. Даже ради этого скачал тестер регулярных выражений. Т.е. я искал ошибку не там. :)

Comments

[Dr_Death]

Да вся беда в том, что апач пишет не полный путь ненайденного файла, а первый элемент в пути, что и вводило долгое время в заблуждение, до вчерашнего дня :)