Делайте индексацию через xmlpipe, tsvpipe или csvpipe, которые работают так, что можно указать команду, которая и вернет все данные, которые должны быть проиндексированы. Эта же команда может и сохранить состояние куда нужно, а не только туда, откуда она читает данные.