Разумеется, в нагруженном проекте противопоказано, как вы выражаетесь, "перекидывать все соединения" вовнутрь. Для апстримов настраиваются настройки кипалайва и нгинкс держит некоторое количество постоянно поднятых коннектов, не тратя время и ресурсы на поднимание-закрывание при каждом новом запросе.
Читайте
доки нгинкса, там нет ничего особенно сложного.