Подтолкните в каком направлении искать. Необходимо проиндексировать кучу файлов в файловой системе. Попробовал для поиска всех файлов рекурсивно пройтись по каталогу, однако получается очень долго и может случится, что не хватит времени работы скрипта. Как можно эту задачу разбить на более мелкие задачи? Я вижу вариант получить за раз определенное количество файлов, но тут вопрос, как сохранить текущее состояние, чтобы потом можно было с него продолжить поиск.
Только всё равно надо за несколько проходов. Так быстрее будут получены хоть какие-то данные для обработки и в случае какой-то ошибки не надо будет долго ждать, пока опять будет просмотрено все дерево каталога.
