Каким образом можно перенести БД из mysql в elasticsearch?

Question

[theEternalStudent]

Интересует именно перенос данных, а не совместная работа.

Answer 1

[theEternalStudent]

Для этого нужно использовать метод elasticsearch bluk. Он позволяет переносить в эластик группы записей, а не как я делал - по одной. Для удобного использования данного метода можно подключить php библиотеку https://www.elastic.co/guide/en/elasticsearch/clie...

И далее по инструкции:
https://www.elastic.co/guide/en/elasticsearch/clie...

Answer 2

[RidgeA]

1. Выбрать часть данных из MySQL
2. Вставить данные в ES
3. Если данные из MySQL выбраны не все goto 1.

Comments

[theEternalStudent]

Попробовал так сделать, но почему то через небольшой промежуток времени некоторые записи начинают пропускаются. По этому подумал что не так делаю.

[theEternalStudent]

Делал это через _bulk

[RidgeA]

theEternalStudent, ну так я не знаю, какая там логика и почему данные могут не попадать в ES. Да, bulk использовать будет правильнее.

На будущее - чем абстрактнее вопрос тем абстрактнее ответ.