Как ограничить количество запросов к сайту с одного IP за один час?

Question

[Андрей]

Суть проблемы: сайт парсят через сеть прокси (около 200 IP). Нужно ограничить такие запросы, при этом не блокируя роботы поисковиков.

Сейчас запросы ограничиваются Nginxом через limit_req_zone + fail2ban. Но это все плохо работает, т. к. получается ограничение на несколько запросов в секунду. Я хочу настроить ограничение в течение часа, скажем с одного IP разрешается выполнить только 1800 запросов в час. Как это сделать?

ps ОС Ubuntu.

Comments

[Lynn «Кофеман»]

Так а что мешает выставить burst=1800 ?

[Андрей]

Lynn «Кофеман», Можно поподробнее? Эта директива весьма смутно описана. Разве burst не в пределах 1 секунды работает?

[Lynn «Кофеман»]

Андрей, нет, burst можно выгрести весь одновременно. Возможно вам ещё будет нужен флаг nodelay.

[Андрей]

Lynn «Кофеман», Можно, но в следующую секунду он же обнуляется? Судя по примерам здесь:
https://www.nginx.com/blog/rate-limiting-nginx

[Lynn «Кофеман»]

Там кажется просто картинка неудачная.
burst позволяет «одолжить» токены из будущего и никак не привязан к секундам

[Lynn «Кофеман»]

В теории вашу задачу можно решить напрограммировав на lua или njs.
Но возможно вас устроит такая полумера

limit_req_zone $binary_remote_addr zone=ip:10m rate=30r/m; # === 1800r/h

server {
    limit_req zone=ip burst=1800 delay=50;
}

В переводе на русский, мы готовы принять все 1800 (burst) запросов зараз, первые 50 (delay) обработаем сразу, все остальные будут висеть в очереди и отправлятся на обработку раз в 2 секунды.

burst и delay можно выбрать по вкусу.
Мне кажется, что реально burst надо подобрать минимальный необходимый для поисковиков, а delay выставлять в зависимости от возможностей вашего бекенда.

[Андрей]

Lynn «Кофеман», Спасибо, протестирую такой вариант.

Answer 1

[Alexey Dmitriev]

В nginx-mod https://www.getpagespeed.com/nginx-mod-a-better-fa... есть:

spoiler

limit_req_zone $binary_remote_addr zone=one:10m rate=1r/h; # 1 request per hour
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/d; # 1 request per day
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/w; # 1 request per week
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/M; # 1 request per month
limit_req_zone $binary_remote_addr zone=one:10m rate=1r/Y; # 1 request per year

Comments

[Lynn «Кофеман»]

Так автор его и использует. В чём ответ?

[Alexey Dmitriev]

Lynn «Кофеман», вы о чем вообще? В чем вопрос?

[Lynn «Кофеман»]

Alexey Dmitriev, как этот «ответ» отвечает на вопрос автора?

[Alexey Dmitriev]

Lynn «Кофеман», прямым образом. "заменить стандартный на мод где есть требуемый функционал, которого нет в оригинальном nginx."

[Андрей]

Судя по описанию, rate=1r/h актуально только для 1 запроса в час. Точно как и в Nginxe без модов rate=30r/m работает не как 30 запросов в пределах минуты, а лишь разрешает 1 запрос в 2 секунды.

[Lynn «Кофеман»]

Alexey Dmitriev, Там что-то смутное написано

Some NGINX users seek to define rate-limiting of once in a day for specific resources. This is not possible with stock NGINX.
Our patch allows for a more fine-grained rate limit configuration.

Я из этого описания и примеров не могу понять чем же оно отличается от стандартного https://nginx.org/ru/docs/http/ngx_http_limit_req_...

[Андрей]

Lynn «Кофеман»,

Some NGINX users seek to define rate-limiting of once in a day for specific resources.

Видимо просто добавили вот такую фишку с ультраредкими запросами. Для каких-то очень специфичных ситуаций.

[Alexey Dmitriev]

Андрей, что мешает поменять 1r на 1800r?

[Lynn «Кофеман»]

Если там не меняли алгоритм обработки, то 1800r/h это абсолютно то же самое что 30r/m