Как заблокировать по имени хоста в nginx?

Никак, nginx не резолвит обратки, иначе тормозил бы (и даже если научился - я не советую ради одного хоста включать резолв).

iptables -A INPUT -s torproxy03.31173.se -j DROP