BasilioCat

Пускает, если стоит Order Deny,Allow
У вас просто ошибка в хтаксессе —
Order Allow,Deny — кроме запрета доступа всем, для кого нет соответствующей директивы allow, дает приоритет другим директивам deny, и в случае наличия директивы deny from all она «берет ввех» над любыми allow
Так что у вас либо Order Allow,Deny лишний, либо Deny from all

Специально проверил — nginx и apache c mod_rpaf — ограничения по IP работают из htaccess замечательно (хоть и не на убунте)
У вас выставлены корректно директивы

RPAFEnable On
RPAFheader X-Real-IP
RPAFproxy_ips <proxy_ip> 127.0.0.1

в конфиге апача? Адреса в еррор и аксесслогах правильные?

Мерять загруженность сервера из пхп, использовать в качестве балансировщика nginx… Вы не хотите поискать инструменты, специально предназначенные для решения таких задач? Может быть вам подойдет ipvs, haproxy?

Конвертируйте через libidn и забудьте что русскоязычные домены существуют где-то, кроме строки браузера (да и там не всегда)
idn --quiet -a «домен.рф»
(кавычки только обычные — парсер)