Виталий Перетятько

по поводу уменьшения использования ОЗУ - ничего не скажу, вроде 400 мб это совсем не много.
По поводу переиндексации - у вас же не все товары два раза в день меняются, переиндексировать надо только то, что меняется. Почитайте в документации про дельта индексы.

Попробуйте Everything search engine www.voidtools.com/, сам не пользовался, меня Spotlight полностью устраивает, но товарищ восхищался этой прогой…
Индексация файлов, мгновенный поиск.
дополнительные фишки — переименование/удаление файлов, возможность индексации удаленных хранилищ, регулярные выражения.
Не требует быть фоновым процессом, можно запускать только по требованию.

другую версию Sphinx попробуйте собрать