Скорее всего php5-fpm отжирает. Он ведь занятую память не освобождает. А с ростом запросов еще и дочек плодит, которые занимаются тем же. Вот из вашего конфига:
pm.max_children = 50
pm.start_servers = 20
pm.min_spare_servers = 5
pm.max_spare_servers = 35