1nd1go

Добавляете еще 2 шарда, и переодически переключаете с одного на другой. Пока второй работает, первый очищаете.

Я могу ошибаться, но во-первых, каждый раз когда вы обновляете документ, создается его новая версия. Это значит, что при добавлении id будет новая версия документа. Из-за частых добавлений, может перестраиваться B+ дерево записей, что может сказываться на перфомансе

Кстати, у вас, я правильно понял, что id обновляется в объектах принадлежащих одному документу? Тоже может быть, что вы раз записав кому-нить id, пытаетесь в цикле обратиться к еще старому документу.

Посмотрите (вроде как реализация JSR-107 с плюшками) — commons.apache.org/jcs/index.html. Есть много вкусного.

SQL базы данных затачиваются под универсализацию, те стараются предоставить разумный компромисс мжду скоростью записи и чтения. Это удовлетворяет потребности большинства энтерпрайз приложений, так как паттерн их использования как раз и заключается в «пописали/почитали». Плюс sql базы стремятся предоставить защищенноть данных, следуя принципам ACID, что опять же является критичным для ентерпрайза.

С друой стороны, есть задачи которым важно чтото определенное из всего набора. Например мы хотим бысто быстрои много писать, но можем пожертвовать скоростью чтения или свежестью данных. Или у нас объекты пишутся часто разной структуры, и мы хотим получать быструю их фильтрацию. Для всего этого традиционных подход sql создает ненужные обвязки, которые тормозят эти операции. И эти проблемы решают специализированные базы данных nosql