1) Фоновые воркеры? Это cron?
2) Про ноду я слышал, но сам не применял. Скажите можно ли быстро освоить? Действительно ли будет кушать меньше ресурсов? Может посоветуете какой-нибудь хороший пример для решения? Уж очень не хочется увеличивать время выполнения скрипта.
Спасибо большое за развёрнутый ответ. Я думал про Sphinx, но он вроде не умеет парсить документы. Руками, конечно, можно перебрать 100 ГБ и засунуть в таблицу, но уж очень долго это придётся делать. Вот, если бы он сам их парсил.
А поиск нужен внутри документов, ключевыми словами не обойтись.
Да, я смотрел в их сторону тоже. И статья на Хабре была обзорная, только там толком ни про объёмы, ни про железо не было, неговоря уже о способах реализации подобных задач.