Как правильно обновлять/переиндексировать?

Question

[bio]

Всем привет!

Как правильно обновлять/переиндексировать документы когда изменились настройки индекса(добавились или изменились настройки в analysis), или когда изменились mappings ?
При этом может так, что во время переиндексации могут добавиться/измениться документы.

Answer 1

[Alex XYZ]

Вроде как если меняете analysis или mapping, то требуется только полная переиндексация (Исключение, если вы что-то добавили в mapping, а не изменили или отменили). В отличии от SQL/NoSQL баз ES не переиндексирует данные внутри себя, даже если вы их там храните.

P.S.
Извините, но мне кажется, что вы только что начали его изучать. В этом его особенность. Это не база данных, хоть он и может хранить в себе данные. Это существенное отличие от привычного, когда данные отдельно, индексы отдельно.

Comments

[bio]

Захаров Александр Вы правы, я его только начал изучать. А как правильно делать полную переиндексацию не потеряв документы которые могут добавиться/обновиться во время переиндексации ?

[Alex XYZ]

bio: Я бы рекомендовал в ES установить признак, чтобы хранить в ES исходные данные, а в исходные данные добавил время создания документа (чтобы оно передавалось и хранилось в ES). Потом сравниваете время, которое вы храните в ES со временем в исходных документах. Но это первое топорное решение, но при не очень большой нагрузке хорошо работает. Дальше - ваше воображение. Я пробовал сразу загонять изменяемые данные в ES на бакенде, чтобы ничего не проверять. Тоже хорошо работает. ES очень шустро глотает даже большие объёмы.
Ещё вариант - в ES есть bulk загрузка данных, когда вы сначала подготавливаете всю базу на загрузку/обновление данных, потом отправляете эту гору данных переваривать в ES. Очень быстро переваривает. Так что я бы посоветовал смотреть на последний способ. Это похоже на резервное восстановление данных в SQL-базах. Быстро и "сердито".

Answer 2

[Вадим Степанов]

Первое что приходит в голову - используйте вариант, описанный тут: https://www.elastic.co/guide/en/elasticsearch/guid...

Хорошо описан вариант как сделать ре-индекс без остановки приложения.

По поводу того, что делать с документами, которые могут быть изменены в процессе выполнения реиндекса. Есть несколько вариантов.

Можете использовать вариант, предложенный Захаров Александр - дополнительное поле с датой обновления документа. В таком случае вам надо будет после реиндекса сделать еще дополнительно проход по старому индексу и найти документы с отличающимися датами.
Второй вариант - использовать вместо дат версии документов. Но! Для этого документы во время реиндекса надо переносить вместе с номерами версий (иначе, они все будут добавлены с _version=1).
Третий вариант - комбинация первых двух - использовать свое специальное поле для версий документов и сказать об этом ES - у него есть поддержка использования "внешних версий".

И во втором и в третьем варианте, все равно после реиндекса надо проходить по старому индексу и определять какие документы поменялись.
Худший случай, который вы можете получить: вы делаете реиндекс, в это время в старом индексе меняют документ X. Реиндекс завершается, начинается поиск изменений. В это время документ X снова меняют, но уже в новом индексе. В процессе поиска изменений вы видите что документ X был изменен в старом индексе и его надо перенести в новый - а тут он уже тоже снова изменен. Что делать в таком случае - решать вам. Все зависит от важности данных и можно ли объединить изменения.