Ответ нашел сам Точнее спросил у старшего товарища Ликсуйда.
Я эмитировал падение одного из бекендов с помощью IPTABLES (iptables -A OUTPUT -d 172.20.5.12 -j DROP)
Видимо у Nginx есть свои механизмы опроса, он наверное ждёт ответ от хоста. А в данном случае ответа как бы не было. И Nginx не понимал что проиходит с одним из бекендов.
Нужно прописать REJECT и будет счастье =) Если у кого-то есть более академическое объяснение то я готов выслушать)