Как при limit_req_zone игнорировать IP?

Question

[Станислав]

Ребяты, нужна хелпа.
В nginx стоит защита limit_req_zone по установленному языку в браузере $http_accept_language
Вот пример

map $http_accept_language $locale_bad_country {
        default "";
        "~^zh"  "1";
        "~^en"  "1";
    }

limit_req_zone $locale_bad_country zone=external:10m rate=1000r/m;

limit_req zone=external burst=1000 delay=500;

Все прекрасно работает и так как надо, проблема в том что фильтруется и google bot у которого айпишники 66.249.70.0/24

Реально ли игнорить правила для гугл бота?
Как я понимаю нужно создать еще один map для переопределения locale_bad_country уже на основе IP адреса клиента? Я просто не знаю будет ли это работать и как правильно...

Сугубо по моей логике хочется сделать так

map $http_accept_language $locale_bad_country {
        default "";
        "~^zh"  "1";
        "~^en"  "1";
    }

map $binary_remote_addr $locale_bad_country {
        default "";
        "66.249.70.*"  "";
    }

Но
1. Возможно ли переопределение переменной таким образом я не знаю
2. По логике так как во втором map default "", то первый map вообще работать не будет (по факту)

В общем моя логика как всегда не работает и быть может кто нибудь подскажет как осуществить задуманное и возможно ли это вообще?

Или делать уже как то так?

map $http_accept_language:$binary_remote_addr $locale_bad_country {
        default "";
        "~^zh:*"  "1";
        "~^en:*"  "1";
        "~^en:66.249.70.*"  "";
    }

Comments

[dodo512]

Одна переменная $var с помощью map или geo в зависимости от IP принимает значение 0, 1 и т.д.
Потом уже map принимает комбинацию "$var:$http_accept_language".
И как-то так проверяет:
"~^0:zh"
"~^1:"

[Станислав]

dodo512, по вашему получается так

map $http_accept_language $locale_bad_country {
        default "";
        "~^zh"  "1";
        "~^en"  "1";
    }

map $locale_bad_country:$binary_remote_addr $locale_bad_country {
        "1:66.249.70.*"  "";
    }

[dodo512]

Станислав, сначала на основе IP создаём новую переменную $var.
Потом эту переменную используем вместе с $http_accept_language.

geo $var {
    default         0;
    66.249.70.0/24  1;
}

map "$var:$http_accept_language" $locale_bad_country {
    default   "";
    "~^1:"     "";
    "~^0:zh"  "1";
}

[Станислав]

dodo512, Чет я туплю, ведь мне нужно узнать гугл бота, а его лучше всего по user-agent дернуть.
Получается как то так

map $http_user_agent $is_search_bot {
        default    0;
        ~*(Googlebot|GoogleOther)    1;
    }

    map $http_accept_language:$is_search_bot $locale_bad_country {
        default         "";
        "~^zh:0"        "1";
        "~^en:0"        "1";
    }

Должно работать правильно по идеи =)

[dodo512]

"~^zh:0"
Станислав, в $http_accept_language может быть гораздо больше чем пара букв.
Что-нибудь вроде en-US,en;q=0.5
Лучше поменять местами $http_accept_language и $is_search_bot.
Тогда шаблон будет "~^0:zh"

[Станислав]

dodo512, я тогда видимо не понимаю как все работает.
Думал в $http_accept_language ищется присутствие zh в строке.
Получается что при вашем выражении "~^0:zh", zh будет искаться по всей строке к примеру en-US,zh;q=0.5 и при таком найдется она?
А при таком~^zh:0 только если она вначале zh-**,en;q=0.5

[Станислав]

dodo512, Подскажи пожалуйста со следующим, я тут так подумал, у меня ЦА это русские, так же мне хочется чтобы под лимитку не попадали боты гугла и яндекса, а весь остальной шпрот пусть висит в очередях если достигнут лимит.
Правильно ли я написал

map $http_user_agent $is_search_bot {
        default    0;
        ~*(YandexBot|YandexMobileBot|Googlebot|GoogleOther|YandexMetrika|YandexAccessibilityBot|YandexRenderResourcesBot)    1;
    }

    # Разрешенные языки браузера, которые не должны ограничиваться в req_limit_zone.
    map $is_search_bot:$http_accept_language $access_locale_browser {
        # По умолчанию под req_limir_zone подпадают все
        default         "1";   
        # Если это разрешенные боты Google и Yandex
        "~^1:en"        "0";
        "~^1:ru"        "0";
        # Если в браузере установлен русский язык           
        "~^0:ru"        "0";
    }

[Станислав]

Ну и наверное для ботов лучше сделать так
Вместо

"~^1:en"        "0";
"~^1:ru"         "0";

Прописать так
"~^1:*" "0";

[dodo512]

Станислав, а как используется $access_locale_browser?
Если прямо так limit_req_zone $access_locale_browser, то не учитываются только запросы с пустым значением ключа.
Чтобы пропустить в обход лимитов в переменной $access_locale_browser должен быть не "0", а пустая строка "".

# Разрешенные языки браузера, которые не должны ограничиваться в req_limit_zone.
map $is_search_bot:$http_accept_language $access_locale_browser {
    # По умолчанию под req_limir_zone подпадают все
    default         "1";   
    # Если это разрешенные боты Google и Yandex
    "~^1:"          "";
    # Если в браузере установлен русский язык           
    "~^0:ru"        "";
}

[Станислав]

dodo512, да да, я так и сделал

Answer 1

[ky0]

binary_remote_addr выглядит по-другому, он же binary. Ваш "66.249.70.*" с ним не проканает.