Как проиндексировать документы в elasticsearch быстро?

Question

[DiIce]

Суть вопроса:
есть сервер ксеон 16 ядер и 16гб оперативки
поставил еластиксерч и импортирую в него документы при помощи еластикдамп
но процесс идет крайне медленно - примерно 1.5 млн документов в сутки
а мне нужно залить 810 млн документов
можно ли ускорить индексацию?

Эластик нужен для быстрого полнотекстового поиска, может стоит посмотреть в сторону другого движка?

Comments

[landergate]

top не показывает, во что упирается процесс импорта? Может горлышком стали диск или CPU?

Какая версия Elasticsearch?
Сколько нод/реплик?

[DiIce]

landergate: занято одно ядро плотно, остальные стоят

[DiIce]

landergate: одна нода

Answer 1

[un1t]

Ты на каждый документ отдельный запрос чтоли делаешь?
Используй Bulk API

Comments

[DiIce]

можете в кратце рассказать как мне его использовать, с оглядкой на то, что у меня base.json (файл импорта) весит 100гб

[un1t]

А откуда ты этот json взял и как импортируешь? И вообще что для импорта используешь? curl или какой-то язык програмимрования?

[DiIce]

un1t: json сам запилил:) а для импорта использую https://github.com/taskrabbit/elasticsearch-dump

[un1t]

Если ты сам откудато выгрузил этот json. То забей на него. Напиши скрипт который будет отправлять например по 50 тыщ запросов за раз в формате Bulk API. В документации все подробно описано.

[DiIce]

un1t: можете за денежку решить вопрос вместо меня?)

[un1t]

DiIce: нет, у меня своих задач хватает.

[MintTea]

un1t: 50 тыщ это сильно, вы так делали? Мы подбирали методом тыка и остановились на отметке в 1к запросов в батче - большие значения сожрут всю память на отправляющей стороне, что ведет к нестабильной работе...

[un1t]

MintTea: зависит от размера документа

[DiIce]

un1t: мы уже реализовали все то же самое на базе sphinx