ManticoreSearch

Почитайте про строение индекса, наиболее вероятная причина там описана: загрязнение старыми записями kill-списков.
Решение - оптимизация индекса по расписанию.
Ну и старую добрую утечку памяти никто не отменял, тут только на manticore переходить.

А почему при заведении очередных 100500lm в базу не парсить строку и не разбирать люмены в отдельный целочисленный атрибут?

source - это откуда и как индексировать индекс. А еще нужно сам индекс определить.