Степан

Только пересобирать nginx с нужными модулями.

Смотрите логи. Или временно включите display_errors

Повесьте fpm на порт а не на сокет. Странно, но так работает более стабильно при больших нагрузках и большом количестве запросов.

Так же для хайглоада не рекомендуют использовать pm = dynamic. Лучше просчитать примерное количество воркеров в зависимости от нагрузок.

К главной машине через NFS подключены N с превюшками.
Через NFS легко проверяем на каком из серверов есть уже обработанное изображение и редиректим на него.
Изначально через NFS планировалось только проверять наличие файла, но после долгих тестов оказалось что даже с записью превюшек на другие сервера он справляется на ура. Падает не чаще раз в год.

А зачем собственно заменять? Обновление nginx на столько критично?

Это вопрос а не предложение. У меня на боевых серверах стоит такая связка (nginx/1.2.6).

Это вроде как и не исправите. Есть только два варианта:
1. По больше места для кэширования
2. Все кто запросят файл в момент его закачки первым запросом будут ждать пока сервер не закэширует файл и только потом отдавать.

На SSD такое дело крайне не рекомендую ставить. На личном опыте убили 70% жизни SSD на больших файлах.