на сервере стоит настроенный IPTables, fail2ban + настроен firewall от Hetzner на пропуск только TCP запросов, толку ноль
Видимо, какие-то из перечисленных мер настроены недостаточно хорошо (есть у вас, например, ограничение по геолокации адресов?). Если выжирается весь канал - это одно, а если упирается в процессор - значит, недостаточно активно давите айпишники, ну и приложение, значит, плохо оптимизировано.