Задать вопрос
  • Сколько nft потянет ips?

    ms-dred
    @ms-dred Автор вопроса
    Я тут еще вот что надумал, можно ли как то в nginx узнать включен ли в браузере пользователя javascript?
    Просто вполне реально что у ддосера js вовсе выключен и тупо сразу его редиректить куда то подальше...

    Так же сейчас уменьшил бан-разбан до 30 секунд, вот почему:
    За сутки при выборочном переборе айпишников ддосера понял что, он ддосит все время с разных ip, и за сутки они не дублировались ни разу, тогда и смысла нет их хранить долго.
    Второе, саме тяжеловесные запросы в базу идут по javascript, собственная коллекция аналитики на миллиона строк за месяц. И если просто тупо банить ip через fail2ban, то доссер только к серверу подрубается, делает пару запросов в базу, ловит бан и до аналитики не доходит. Ну получается просто бан-разбан идел и никакого вреда причинить не может, сервера выыдерживают. Единственно что меня мучает, так это то что постоянная запись-удаление айпишников идет на сервере, ну и nginx логи летатят как не в себя=)
    Если бы можно было узнать включен ли javascript с помощью nginx, я бы сделал так что даже банить не пришлось во время нагрузок, и тупо на страницу пустышку редиректил такие запросы.
    Написано
  • Сколько nft потянет ips?

    ms-dred
    @ms-dred Автор вопроса
    Refguser, так у меня все это и стоит, я ж об этом и пишу и работает у меня все так же. За исключением того что nginx до кучи и юзеров en/zh бреет во рвемя нагрузки.
    А то что вы пишите работать не будет, потому как fail2ban чекает совпадения с одного IP, а у меня ддос, а не дос идет. С обычным дос проблем вообще бы не было, а тут каждый запрос это новый ip, поэтому дефолтная свзяка nginx+limit+fail2ban не работает и в принципе работать не должна.
    Написано
  • Сколько nft потянет ips?

    ms-dred
    @ms-dred Автор вопроса
    fail2ban пушит новый ip в elements={}. В общем добавляет, а не создает новое правило.
    fail2ban тоже имеет настройку по удалению, сейчас просто стоит время на сутки, спустя 24 часа ip удаляется. Но их просто столько, что жестятк =)
    Написано
  • Сколько nft потянет ips?

    ms-dred
    @ms-dred Автор вопроса
    Refguser, я может не правмильно понял, но как я проверю число запросов в секунду с одного IP, если они все разные?
    Если вы имеете ввиду общее число запросов со всех IP подряд, так у меня nginx этим как раз и занимается, выставленно ограничение 500 запросов в минуту от тех у кого язык в бразуре en|zh, если пошла лавина трафика, т.е. ддос, тогда все те кто в лимитку не уложился баняться fail2ban и заносятся в nft таблицу.
    Написано
  • Сколько nft потянет ips?

    ms-dred
    @ms-dred Автор вопроса
    Refguser, не получится проверять колличество запросов в секунду, потому как весь ддос тогда пройдет. Я режу всех подряд (у кого язык в браузере к примеру en|zh), но только когда nginx забит по лимитам.
    Zerg89, не, там токен только для общения сайта и апи. Да и смысла не будет, потому как http(s) запросами долбят.

    Для статистики в nft уже более 600к айпишников.
    Сейчас думаю сделать как:
    1. Перенести все айпишники в другую таблицу, тем самым nft немного сократит колличество айпишников, он на автомате интервалы вроде как создает при вставке, что то вроде 47.76.0.0-47.87.255.255
    2. Собирать далее с помощью fail2ban новые айпи и после добавлять опять их в другую таблицу.

    У меня вообще создана в базе коллекция со всеми подозрительными ips, я эту базу так же прогоняю через cleantalk, ищу спамные и не спамные, делаю поментки. Проблема в том что с моими суточными объемами (бесплатными), я эти 600к айпи год буду проверять)))
    Написано
  • Сколько nft потянет ips?

    ms-dred
    @ms-dred Автор вопроса
    d-stream, я тож подсеть банил пару раз, но тут столько данных, это вручную надо будет все проштудировать. Я обычно тут прроверяю ip на спам cleantalk, ну и там же и подсет видна =)
    Написано
  • Сколько nft потянет ips?

    ms-dred
    @ms-dred Автор вопроса
    ThunderCat, клоудфлейр мимо, с ним проблемы к сожалению =)
    Ну и я бы не хотел прям жестко банить весь траф кроме ru, порядка 10% из за бугра приходит и норм пользователи, но временно забанить их все же можно, на время атаки.
    Написано
  • Сколько nft потянет ips?

    ms-dred
    @ms-dred Автор вопроса
    Dmitry, судя по гуглению
    Поскольку в nftables есть собственная нативная поддержка наборов, ipset использовать не нужно.
    Написано
  • Сколько nft потянет ips?

    ms-dred
    @ms-dred Автор вопроса
    Refguser, у меня бан не совсем по ip проходит, nginx смотрит какой язык в браузере стоит у пользователя и если RU, то он не пишет инфу для fail2ban. Т.е. в практическом смысле банятся только забугорные юзеры и только во время атаки, если атаки нет и банить никого не будет.
    Написано
  • Сколько nft потянет ips?

    ms-dred
    @ms-dred Автор вопроса
    Everything_is_bad, я в этом не силен, как мне кажется просто кучей запросов перебирают страницы сайта.
    Сервер на котором расположен сайт, выдерживет, а вот сервер с базой данных нет, работает какой то время и клинет к фигам собачим, под базу взял сервер помощьнее и пока полет нормальный. Ну к базе только у приложения есть доступ, сайт+API сервер, а API сервер уже с базой общается.
    Идет ддос с разных ip, с разных стран.
    У меня ЦА чисто русская, поэтому мне не особо не важны другие страны, ну только разве что поисковые боты, поэтому через nginx выставил лимиты, ну а fail2ban пушит их в nft на 1 день. Но как я понял у него айпишники вообще не заканчиваются...
    Уже где то трое сукот практически без передыху ддосит.
    Написано
  • Как при limit_req_zone игнорировать IP?

    ms-dred
    @ms-dred Автор вопроса
    dodo512, да да, я так и сделал
    Написано
  • Как при limit_req_zone игнорировать IP?

    ms-dred
    @ms-dred Автор вопроса
    Ну и наверное для ботов лучше сделать так
    Вместо
    "~^1:en"        "0";
    "~^1:ru"         "0";

    Прописать так
    "~^1:*" "0";
    Написано
  • Как при limit_req_zone игнорировать IP?

    ms-dred
    @ms-dred Автор вопроса
    dodo512, Подскажи пожалуйста со следующим, я тут так подумал, у меня ЦА это русские, так же мне хочется чтобы под лимитку не попадали боты гугла и яндекса, а весь остальной шпрот пусть висит в очередях если достигнут лимит.
    Правильно ли я написал
    map $http_user_agent $is_search_bot {
            default    0;
            ~*(YandexBot|YandexMobileBot|Googlebot|GoogleOther|YandexMetrika|YandexAccessibilityBot|YandexRenderResourcesBot)    1;
        }
    
        # Разрешенные языки браузера, которые не должны ограничиваться в req_limit_zone.
        map $is_search_bot:$http_accept_language $access_locale_browser {
            # По умолчанию под req_limir_zone подпадают все
            default         "1";   
            # Если это разрешенные боты Google и Yandex
            "~^1:en"        "0";
            "~^1:ru"        "0";
            # Если в браузере установлен русский язык           
            "~^0:ru"        "0";
        }
    Написано
  • Как при limit_req_zone игнорировать IP?

    ms-dred
    @ms-dred Автор вопроса
    dodo512, я тогда видимо не понимаю как все работает.
    Думал в $http_accept_language ищется присутствие zh в строке.
    Получается что при вашем выражении "~^0:zh", zh будет искаться по всей строке к примеру en-US,zh;q=0.5 и при таком найдется она?
    А при таком~^zh:0 только если она вначале zh-**,en;q=0.5
    Написано
  • Как при limit_req_zone игнорировать IP?

    ms-dred
    @ms-dred Автор вопроса
    dodo512, Чет я туплю, ведь мне нужно узнать гугл бота, а его лучше всего по user-agent дернуть.
    Получается как то так
    map $http_user_agent $is_search_bot {
            default    0;
            ~*(Googlebot|GoogleOther)    1;
        }
    
        map $http_accept_language:$is_search_bot $locale_bad_country {
            default         "";
            "~^zh:0"        "1";
            "~^en:0"        "1";
        }

    Должно работать правильно по идеи =)
    Написано
  • Почему вываливается предупреждение nginx: [warn] "ssl_stapling"?

    ms-dred
    @ms-dred Автор вопроса
    А я уже весь инет перерыл в чем проблема, оказывается не там искал))
    Написано
  • Почему вываливается предупреждение nginx: [warn] "ssl_stapling"?

    ms-dred
    @ms-dred Автор вопроса
    И чего делать теперь? =)
    ssl_stapling в off перевести?
    Какие последствия от этого действия ожидать?
    Написано
  • Почему вываливается предупреждение nginx: [warn] "ssl_stapling"?

    ms-dred
    @ms-dred Автор вопроса
    Он добавлен, забыл его в топик добавить
    resolver 127.0.0.1 8.8.8.8 valid=300s;
        resolver_timeout 10s;
    Написано
  • Как при limit_req_zone игнорировать IP?

    ms-dred
    @ms-dred Автор вопроса
    dodo512, по вашему получается так
    map $http_accept_language $locale_bad_country {
            default "";
            "~^zh"  "1";
            "~^en"  "1";
        }
    
    map $locale_bad_country:$binary_remote_addr $locale_bad_country {
            "1:66.249.70.*"  "";
        }
    Написано
  • Google и Yandex не индексирует мой сайт на нескольких языках, почему?

    Denis, я тебе так скажу, у меня именно с гуглом такая же петрушка и все это на протяжении примерно 7-8 лет. Ничего не помогает, пробовал всё, это тупо какой то скрытый фильтр от гугла. В Яндексе сайт в ТОПах, очень давно, поведенческие очень хорошие.
    На фрилансе заказывал аудит у ТОП1 сеошника, прослезился над его компетентностью, такой аудит я заказывал лет так 5 назад у какого то бедолаги с форума за 500 рублей, и то, у него было более приближенно к реальности описано, ну хоть какие то дельные советы проскальзывали. Собственно, по итогу, рекомендации сеошников не помогли. Все разводят руками, от всех только и слышно, покупайте ссылки дорогие, может быть и поможет, а может и нет. Никто тебе не скажет в чем дело, потому что никто не знает и знать не может, все будут только лишь гадать и параллельно брать с тебя деньги.

    Вся суть сеошников на сегодня сводится к двум вещам:
    1. Хочешь ТОПов в Яндекса - будем крутить поведенческие
    2. Хочешь ТОПов в Гугле - будет закупаться ссылками

    Это всё, к сожалению, и никто тебе ничего другого на этом рынке не предложит по факту.
    Когда сольешь десятки тысяч рубасов на выяснение проблемы, тогда поймешь о чем я пишу.

    В общем, хочешь с гугла трафик, покупай ссылки с трастовых сайтов, ну по сути спамом занимайся (с точки зрения поисковых систем). Может быть и поможет. Как по мне, оно того не стоит, с Яндекса 20-25к, с гугла 1.5к, пускай в гугле конкуренты ссылочные сидят с 1 просмотров на юзера, а я с 12 просмотрами в ТОПах Яндекса посижу спокойно.
    Написано