Когда-то я пользовался таким способом:
1. вычисляем свободную память = весь объём памяти - объём памяти занимаемый системой.
Например: 32 Гб - 8 Гб = 24 Гб потенциально свободной памяти.

2. вычисляем среднюю память занимаемую одним процессом PHP:
ps --no-headers -o "rss,cmd" -C php-fpm | awk '{ sum+=$1 } END { printf ("%d%s\n", sum/NR/1024,"M") }'
Например: 36 Мб
Примечание: php-fpm в строке выше замените на вашу, если отличается, например php5-fpm
Команда top, htop в помощь

3. итого, ставим 24000 Мб / 36 Мб = 666
pm.max_children = 666

Но не надо забывать, что кроме PHP-FPM системой пользуются и другие процессы.
Я бы ставил max_children в пределах 2/3 от вычисленной цифры.

Но вы всегда можете экспериментировать.