fail2ban тут не поможет,
повидимому вы ищите что то другое,
1) настройте Apache или nging особое внимание на KeepAlive директивы
2) есть и другие модули для web серверов modsecurity это WAF (файрвол приложений)
есть модуль похожий и на nginx,
habrahabr.ru/post/152251, но есть и
habrahabr.ru/post/145241
3) Ставьте шешируюшие примочки что бы каждый раз не дергать SQL, кеш для SQL и php - их много, я остановился на родном Opcache и memcached (первой для битрикса и 2й для wp)
А вот каcательно Файрвола, советую посмотреть в сторону CSF + LFD (Login Failure Daemon), во преки расхожему мнению может работать с любыми портами.
Он в последнее время сильно стал набирать популярность и тестировался в DDOS сдерживая максимально до 40Gbps выше лучше брать аппартный Arbor (как у хабара/тостера если не ошибаюсь).
CSF - прост в настройке и установке, есть web морды для LFD, включая родную + много мануалов.