MaxRequestsPerChild поставить 1 и посмотреть что будет. Потом поднять до 10 или выше (исходя из ситуации), если поможет.
Дело в том, что размер воркера равен размеру самой крупной задачи, когда-либо им выполняемой. И размер этот не уменьшается при отработки последующих задач влодь до убивания по MaxRequestsPerChild.