Как протестировать блокировку по IP заданную в Nginx / Apache?

Question

[Макс]

Добрый день!

Сервер периодически нагружают разного рода боты-скраперы. Чекаю что за боты через awk распарсив логи и отсортировав по убыванию по количеству запросов, далее эти IP/подсети вношу в список blacklist.conf который инклудится к каждому конфигу доменов на сервере. Серверов несколько, делаю ручную синхронизацию блэклиста.

Накопилось уже пара сотен таких IP / подсетей. И постонно добавляются новые IP адреса, многие из них дублируют друг друга, например:
144.76.0.0/16
144.76.118.82

Как настроить тестирование чтобы свежие IP адреса прежде чем вносить в конфиг сервера предварительно проверить блокируется ли он уже или нет? Есть ли утилита или онлайн сервис куда можно загрузить свой Блэклист по маскам и список IP и посмотреть каким правилом оно блокируется? Гуглил битый час...

Comments

[Дмитрий Шицков]

Совсем не очень использовать nginx в качестве блокировщика. Гораздо проще и надежнее блокировать через iptables с применением fail2ban. В идеале на основном балансировщике / фронте / роутере.

[Александр]

Поддерживаю ))) Жаль не в ответе ))).
Издержки на соединения останутся если использовать веб-сервер, надо Suricata IPS или fail2ban.
Тоже стояла такая задача - забил. Пытался fail2ban передавать список IP адресов, но он постоянно растет ))). Просто увеличил время блокировки на 3 порядка.

[Макс]

Дмитрий Шицков, у меня все сайты через cloudflare идут и вижу только коннекты с их ИП адресов, реальных не вижу. Как не пробовал настроить, не получается. В iptables блокировал все это изначально, оно просто не раьотает и никак не пойму почему. Netstat показывает ip клауд, nginx же уже видит реальный ip клиента (беру его из заголовков cloudflare, по инструкции с их сайта).

[Дмитрий Шицков]

Макс, и вы умолчали о такой мелочи как cloudflare? Зачем вы что-то у себя ковыряете, если он у вас есть? Блокируйте в cloudflare через api - на то вам и cloudflare чтобы не свои системы этим нагружать. Это ваш рубеж защиты

[Макс]

Дмитрий Шицков, не все так просто, это первое и самое очевидное решение которое стоило бы использовать, но оно не подходит по ряду причин, в частности :
Аккаунтов, как и доменов -много, они все на бесплатных тарифных планах, а клаудфлер только ща последний год несколько раз менял правила, то он бесплатно блокирует, то нет.
Ну и держать в 40 аккаунтах на сотнях доменов все списки не очень удобно, когда все лежит в 1 конфиге, часть доменов не через клауд раьотает тоже.

Answer 1

[АртемЪ]

Как настроить тестирование чтобы свежие IP адреса прежде чем вносить в конфиг сервера предварительно проверить блокируется ли он уже или нет?

Банальный поиск по списку.

Есть ли утилита или онлайн сервис куда можно загрузить свой Блэклист по маскам и список IP и посмотреть каким правилом оно блокируется?

Это как?

Answer 2

[Павел Межуев]

Есть ли утилита или онлайн сервис куда можно загрузить свой Блэклист по маскам и список IP и посмотреть каким правилом оно блокируется?

Как один из множества вариантов: https://metacpan.org/pod/NetAddr::IP

Пример

#!/usr/bin/perl

use 5.010;
use strict;
use warnings;

use NetAddr::IP;

my @list = ('144.76.0.0/16', '144.76.118.82', '144.76.119.28', '144.76.67.0/24', '144.75.0.41');
my @result;
foreach my $ip (@list) {
    push(@result, NetAddr::IP->new($ip));
}
@result = NetAddr::IP::compact(@result);
foreach my $ip (@result) {
    say $ip->cidr;
}

Результат выполнения:

144.75.0.41/32
144.76.0.0/16

P. S. Дмитрий Шицков дело говорит, не в том месте боритесь с проблемой.

Comments

[Макс]

Спасибо! Кажется то что нужно.
Но проьлема в том что я могу /16
3 заблокировать, а скрипт покажет /16 этой же сети.

Дмитрию ответил, не раьотает в такой вариант из за cloudflare.

[Павел Межуев]

Но проьлема в том что я могу /16
3 заблокировать, а скрипт покажет /16 этой же сети.

Я вас не понял.