В общем я разобрался в проблеме. Действительно. fail2ban не такой простой .как кажется, очень капризный. если речь идет о нестандартных логах. Не пишет о том, что ему не нравится, просто не отрабатывает. Переписал фильтр с нуля, логи парсились, матчились, но видать, ему не нравился результат. В общем, как -то так.