Как использовать limit_req и не зарезать поисковики

Question

[Пума Тайланд]

Собственно сайт активно шерстят боты, хочу их охладить limit_req, но сайт не менее активно шерстят поисковики.
Как был сделать все красиво в nginx и чтобы боты срезались и поисковики индексировали?

Answer 1

[Марат]

Методом тыка начни с 10, и в настройки вебмастера на гугле укажи чтоб гугл делал менее 3х запросов в секунду (если твоя страница отдается менее чем за секунду, даже при тяжелых нагрузках.)

Comments

[Пума Тайланд]

Таким методом тыка можно потерять кучу клиентов.

[Марат]

Этим и отличается, умелый тык от неумелого )

Answer 2

[Алексей Сундуков]

В robots.txt укажите требуемую скорость обхода сайта.

На основании логов сервера и PTR-ов строить карту IP адресов которые попадают в location с заведомо высоким лимитом.

Comments

[Пума Тайланд]

Изначально мысль состоит в том, чтобы они туда не попали. А не в том чтобы их потом оттуда вытаскивать.

[Алексей Сундуков]

А они туда и не попадут. На основании базы IP-шников (проверенных PTR-ами) и User-Agent-а запрос попадает в location с высоким или отсутствующим limit_req. Можно конечно базироваться чисто на User-Agent-е, но шерстящие боты зачастую очень любят использовать User-Agent от Яндекса или Google и получается, что цель озвученная в топике достигнута не будет.