DeadAndDieFox

Пропишите в конфигах nginx в log_format строку $host:$server_port, и увидите, что все эти боты ломятся не по доменному имени (они его не знают), а исключительно по IP-адресу. Потому что они сканируют весь Интернет 0.0.0.0/0 на уязвимости, вдруг где чего можно взломать...

Лечится созданием server с

listen 80 default_server; server_name _; location / { return 403; }

Ну очевидно, что надо хранить реги уже скомпилированными, исключив шаг re.compile из цикла.
Далее можно вести статистику и поднимать(тем или иным образом) более частые реги в массиве повыше.
Ну а дальше уже использование каких-нить низкоуровневых либ, но ИМХО и первого должно хватить.)
...Ещё можно распараллелить, но хз какие у тебя там ресурсы по ядрам.
...Ещё можно склеить эти 10к регулярок в одну и прогнать через глубокий оптимизатор регулярок. Если результат выйдет адекватным, то можно предварительно проверять текст на соответствие такой единой оптимизированной регулярке. Но это, понятное дело, сильно зависит от твоего набора.

https://habr.com/ru/company/cloud4y/blog/530516/