Чтобы PHP процессы под нагрузкой не плодились как грибы, нужно органичить их количество. Кому процесса сейчас не хватило — тупо стоят в nginx очереди.
В противном случае ваш сервер можно будет положить тупым «зажать F5» + более менее приличный канал.
Если у вас не используется кэширующий механизм, и не прописаны ограничивающие iptables — попробуйте на главной странице в браузере зажать F5, и посмотреть htop на сервере. Узнаете много интересного :)
Уход с Apache на Nginx это ещё не решение проблемы — вы просто уменьшили количество сожранной памяти на процесс, а не объём суммарной памяти.
P.S. Сервер умирает тогда, когда оперативная память на процессы заканчивается, и начинает пилиться своп — тогда «вода поступает в трюм быстрее, чем вы ее успеваете вычерпывать».