nick23

Возможно, данная библиотека будет полезна:
ko-process
Если нужно именно параллельное выполнение

Была подобная беда с проектом, в котором было боле 1.2 млн файлов. После удаления ненужных файлов, которые не влияют на разработку (img, cache, logs, ...) при количестве файлов ~300k бесконечная индексация прекратилась.