Могу предположить, что каждый воркер имеет в себе весь php-apc кеш, поэтому кушается столько памяти.
Единственная проблема, которая может быть — php-fpm memory leak, но если после рестарта php-fpm он кушает примерно столько же памяти, сколько и до рестарта, значит утечек скорее всего нет
Ну и как вам уже сказали, волноваться надо, когда используется своп