Воркер - это дочерний процесс, в котором выполняется wsgi-скрипт для обработки полученного http-запроса. Чем больше воркеров, тем больше одновременных запросов можно обработать. Но каждый воркер потребляет ресурсы сервера, так что если их больше, чем запросов, то ресурсы будут тратится впустую.
Ошибка "critical worker timeout" может означать, что wsgi-приложение написано плохо и не способно уложиться в лимиты времени на ответ. Проведите профилирование, чтобы найти причину тормозов.