listen.allowed_clients = 127.0.0.1
мне кажется не имеет смысла, когда речь идёт о сокетах домена юникс. больше ничего сказать не могу насчёт пула воркеров, сам пользуюсь вместо php-fpm обычным php-cgi с фиксированным предварительно посчитанным количеством воркеров