Как создать fail2ban regex выражение?

Question

[Gring76]

Здравствуйте.
Хочу защитить сервер minecraft
В логах есть такие сообщения

14:52:30 [INFO] [/77.45.159.100:51055] <-> InitialHandler has connected
14:52:38 [INFO] [/62.183.66.194:55003] <-> InitialHandler has connected
14:52:47 [INFO] [/46.33.52.200:50698] <-> InitialHandler has connected
14:52:52 [INFO] [/89.147.241.153:25639] <-> InitialHandler has connected
14:52:54 [INFO] [/194.44.127.194:59030] <-> InitialHandler has connected
14:52:56 [INFO] [/5.248.38.199:49935] <-> InitialHandler has connected
14:53:05 [INFO] [/46.188.123.234:17907] <-> InitialHandler has connected
14:53:05 [INFO] [/46.188.123.234:17900] <-> InitialHandler has connected
14:53:16 [INFO] [Tanya] -> UpstreamBridge has disconnected
14:53:16 [INFO] [Tanya] disconnected with: §f[Proxy] Lost connection to server.
14:53:16 [INFO] [Tanya] <-> DownstreamBridge <-> [lobby] has disconnected
14:53:18 [INFO] [/91.79.163.142:50687] <-> InitialHandler has connected
14:53:18 [INFO] [/178.140.46.18:53260] <-> InitialHandler has connected

Вот тех кто более 3 раз в минуту InitialHandler has connected - кидать в бан.
Я так понял что нужно сделать regex для строки типа
14:53:18 [INFO] [/178.140.46.18:53260] <-> InitialHandler has connected

Но как сделать - ума не приложу.
Может кто подскажет с чего начать или саму строчку?

Answer 1

[Fess]

Моя версия fail2ban

#fail2ban-server -V
Fail2Ban v0.9.3

в файл /etc/fail2ban/jail.local добавить:

[minecraft]
filter   = minecraft
enabled  = true
logpath  = full_path_to_minecraft_logs
bantime  = 3600
findtime  = 60
maxretry = 3

[minecraft] - название файла-фильтра (minecraft.conf), либо (если назвали секцию как-нибудь произвольно), используем директиву filter;
filter - указывает название файла-фильтра( в нашем случае minecraft.conf) без расширения;
findtime и bantime в секундах;
maxretry - количество вхождений строки в лог;
logpath - полный путь к файлам логов. Можно использовать * и ? как знаки-подстановки.

В файле-фильтре /etc/fail2ban/filter.d/minecraft.conf пишем следующее:

[Definition]
failregex = \[INFO\] \[\/<HOST>:\d+\] <-> InitialHandler has connected$
ignoreregex =

-----------------------------------------------
Правила, используемые вашей версией fail2ban зависят от версии питона, используемого на системе.

#python -V
Python 2.6.6

Документация на модуль регулярных выражений python 2.7: https://docs.python.org/2/library/re.html
Учитывайте, что флаг re.MULTILINE уже используется в fail2ban. Т.е. знаки ^ и $ матчат начало и конец строки.

Нюансы написания фильтров для fail2ban: www.fail2ban.org/wiki/index.php/MANUAL_0_8#Filters

Инструменты для проверки регулярный выражений:
https://regex101.com/#python
https://www.debuggex.com/
Рекомендую первую ссылку.

Принцип простой:

• Указали язык регулярок python
  
• Текст для примера (логи), который хотим разобрать регулярками
  
• В поле для регулярных выражений пишем регулярку и, по мере набора регулярки, смотрим, как матчится регулярка на наш текст.
  

Для примера(на первом ресурсе):

• в поле текста забейте свои логи
  
• в поле gmixsu напишите gm (это аналог служебных флагов для выражения, вроде re.MULTILINE в python'е)
  
• в поле регулярки забиваем [0-9] - выделит все цифры как отдельные элементы. Значения элементов выражения смотрим в подсказках.
  
• Добиваем регулярку до вида: [0-9]+ - имеем 4 цифры как отдельные элементы: т.е. ip 192.168.0.1 разбивается на элементы 192, 168, 0 и 1
  
• Точка в регулярках - спец. символ. Мапится в любой один знак. Экранируем его, ибо ищем точку, а не любой символ, иначе символ _ в строке 192_ так же попадёт под выражение.
  
• Итого, приведём выражение к виду [0-9]+\.[0-9]+\.[0-9]+\.[0-9]+. Сразу понятно будет, что этим выражением выделим все ip адреса в логах.
  

Снимите флаг g в примере(поле gmixsu ;)) и напишите регулярное выражение заново. По мере набора, будет понятно, зачем конструкция [0-9]+\. повторяется несколько раз в итоговой регулярке.

Данное выражение можно построить и более изящно, но на первом этапе важно понимание работы регулярок. Потом можно будет строить и более сложные выражения.

Comments

[Fess]

И, да, протестировать получившийся фильтр можете с помощью утилиты fail2ban-regex.
fail2ban-regex path_to_log path_to_filter
fail2ban-regex <строка из лога> path_to_filter
fail2ban-regex <строка из лога> <строка регулярного выражения>

После добавления фильтра и его активации (enabled = true), проверьте fail2ban-cliets status и перезапустите fail2ban-client reload. Это подтянет изменения фильтров на рабочем приложении.

[MarvinD]

Это скорее не для вас уже, а для других. Далеко не все регулярки, проходящие на том же https://regex101.com/#python, проходят на fail2ban.

Например, для такой записи лога:
[09/Nov/2015 13:45:07] Failed SMTP login from 1.235.184.100 with SASL method LOGIN.

вроде бы должна подходить регулярка (на regex101.com все ок):
^\[([0-9\/A-Za-z: ]{15,30})\] Failed SMTP login from [0-9\.]{5,40} with SASL method LOGIN\.$

А в fail2ban - не находит строку (само собой, [0-9\.]{5,40} заменить на ).

Можно не выделываться в данном случае, и хватит даже такой:
failregex = Failed SMTP login from with SASL method LOGIN.

[MarvinD]

А еще очень легко "подобрать", что же ему не хватает:
fail2ban-regex "[09/Nov/2015 13:45:07] Failed SMTP login from 1.235.184.100 with SASL method LOGIN." "Failed SMTP login from with SASL method LOGIN.$"

Т.е. fail2ban-regex ПРИМЕР_СТРОКИ ВАША_РЕГУЛЯРКА

[Osamich]

Парни а в строке [2018-03-27 12:29:24] WARNING[23835][C-000348c4] chan_sip.c: Received response: "Forbidden" from '"Ermakov Yuriy" ;tag=as45636196'
Как регулярку составить? все время ругается на no host group

[Fess]

Osamich, давно не писал регулярок под fail2ban. На сколько помню, он хочет увидеть ip или hostname в регулярке. Т.к. в строке лога, хоста у Вас нет, то и мапить в host group нечего. Если Вы не используете host group в правилах блокировки(или не блокировки?), то можно попробовать подсунуть какую-нибудь неинтересующую Вас информацию в качестве hosname.

[Osamich]

Fess, пытаюсь ему подсунуть. Но не получается. Задача в чем. Периодически отваливается транк. Вот я и хотел мониторить такие события фейл ту баном. Сама строка полностью
[2018-03-27 12:29:24] WARNING[23835][C-000348c4] chan_sip.c: Received response: "Forbidden" from '"Ermakov Yuriy" sip:[e-mail] ;tag=as45636196'

"806190.15.rt.ru" вот эту часть как хост нельзя использовать? но у меня не получается пропустить часть текста.

т.е. пытаюсь создать Received response: "Forbidden" from 806190.15.rt.ru
К примеру так.
тут почему то пропускает текст в <>

[Osamich]

вообщем вдруг кому пригодится) failregex = Received response: \"Forbidden\" (?:.*)

на моем примере.