Как импортировать строки из TXT в ElasticSearch?

Question

[DiIce]

Есть текстовый файл на 1 млрд строк в кодировке utf8 на русском языке.
Нужно сделать импорт из этого файла в индекс elasticsearch, чтобы потом иметь полнотекстовый поиск по строчкам этим
Каждая строка файла должна стать новым документом в базе с одним полем, допустим "keyword", по которому потом и будем делать поиск.

Как такое можно сделать?

Answer 1

[kotofey]

Для дампов, восстановления из оных, перекидывания данных с прода на дев и тд пользуюсь вот этим инструментом: elasticdump
В вашем случае нужно лишь привести текстовый файл к json формату.

Comments

[DiIce]

в таком формате? {['key':'строка 1'],['key':'строка 2']}

[kotofey]

Вот в таком (для ластика версии 1.7)
{"_index":"<ваш_индекс>", "_type":"<ваш_type>", "_id":"1", "_source":{"key":"строка 1"}}
{"_index":"<ваш_индекс>", "_type":"<ваш_type>", "_id":"2", "_source":{"key":"строка 2"}}

Один документ - одна строка.

[DiIce]

спасибо, подскажете еще один момент?

я сделал индекс
curl -XPUT 'localhost:9200/keywords/key/_mapping' -d '{"key":{"properties":{"key":{"type":"string","index":"analyzed"}}}}'

потом добавил документ вручную
curl -XPOST localhost:9200/keywords/keys/1 -d '{"key":"натяжные потолки"}'

потом делаю поиск
curl -XGET 'http://localhost:9200/keywords/_search?q=key:натяж...'

мне выдается результат
{
"took" : 10,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits" : {
"total" : 0,
"max_score" : null,
"hits" : [ ]
}
}

что я сделал не так?

[kotofey]

При создании индекса у вас указан _type = key
При добавлении документа _type = keys

[DiIce]

исправил, тоже самое. кроме этого?

[kotofey]

_search делается post'ом

[DiIce]

уважаемый, добрый день и с праздником:)
подскажите, пожалуйста, еще такой момент:
делаю поиск curl -XPOST 'localhost:9200/keywords/keys/_search?q=key:000&pre...'
возвращается результат, все ок
делаю поиск curl -XPOST 'http://localhost:9200/keywords/keys/_search?q=key:...'
всегда пусто, какое бы слово не написал

т.е. по цифрам ищет, по словам нет

[kotofey]

Должно работать. Покажите ваш маппинг.

[DiIce]

сам разобрался спасибо огромное за поддержку!
подскажите пожалуйста, а эластикдамп может за раз класть больше чем 100 шт?
у меня база на 810 млн, сервер норм, мощный. могу я сделать так чтобы он за раз клал по 1000 например? по 2000? (из файла в индекс)

[DiIce]

ибо он по 100 шт ну очень медленно кладет

[DiIce]

или может в несколько потоков?

[kotofey]

Да, этот параметр настраивается (см. раздел Option):
--limit (How many objects to move in batch per operation limit is approximate for file streams (default: 100) )

[DiIce]

kotofey: по опыту можете сказать какой лимит поставить? у меня 16 гб оперативки, ксеон на 16 потоков

[kotofey]

Посмотрите раздел "MultiElasticDump". Там как раз описывается вариант распараллеливания.
Какой именно лимит лучше выставить конкретно под вашу задачу затрудняюсь ответить, так как импортировать такие объемы пока не доводилось. Пробуйте постепенно увеличивать лимит пока не пойдут потери при импорте данных.