Uno

Есть oneliner (ну почти): в нгинксе запретить доступ без куки, и у кого ее нет - отправлять на капчу которая ее повесит
Минус - живые люди тоже должны будут один раз пройти

ddos guard что ли

А может быть у вас проблема не в архитектуре сети а все таки в архитектуре продукта?

Так Вам сами эти хацкеры ответ подсказывают - выдавайте 404 тем, у кого useragent < N-го кол-ва символов у нормальных useragent’ов.