Есть подозрение, что лочатся файловые сессии. Попробуйте их не использовать, или использовать сессии в базе, если они нужны (только осторожнее с race conditions). Вот
тут подробнее. Ну и да, ещё лучше будет парсеры запускать через консоль, а не через веб-сервер.