Оставьте его в покое. Это родной, стандартный, мелкий модуль, удаление которого уж точно не поможет вам "ускорить сервер", а вот неожиданные грабли в другом месте вполне может вызвать.
И вообще, используйте стандартную сборку под вашу ось. Не занимайтесь ерундой, выпиливая якобы ненужные модули, видимого прироста производительности вам это не даст. Лучше займитесь оптимизацией кода приложений. А если ваш проект оптимизировать уже по максимуму, а на сервера такая высокая нагрузка, что микрооптимизации Nginx могут иметь значение - наймите узкоспециализированного гуру по этому вопросу, одного из разрабов Nginx например. Но я сильно-сильно сомневаюсь что у вас подобная ситуация.
