Можно ли на уровне nginx блокировать ботов по частоте скачивания файлов?
Хотелось бы защитить сайт-каталог от спарсивания информации о продуктах ботами-парсерами.
Понятно, что по юзерагентам даже и делать не стоит (от слишком только больших дураков).
Мне вот интересно скорее такое полу интеллектуальное решение.
При обычных посещениях пользователь не ходит по страницам со скоростью 10 страниц в секунду, плюс он (точнее его браузер) загружает файлы (картинки, стили, js) которые относятся к текущей странице.
Вот мне и подумалось – можно ли как-то опираться на эти 2 факта?
То есть грубо говоря, если с айпишника идет скачка страниц с большой скоростью + файлы рандомно, то блокировать его.
При этом не заблокировав поисковые роботы)
Или это все пустая затея?
Сложный
