Как импортировать датасет 30к документов в ElasticSearch?

Question

[d'Ivan]

С помощью curl импортирую 30к документов в файле формата, описанного в документации.
Выдает код

HTTP/1.1 413 Request Entity Too Large
content-length: 0

Есть документы размером 6КБ. Возможно, есть и больше.

Импортирую командой

curl -i -X POST localhost:9200/_bulk -H "Content-Type: application/x-ndjson" --data-binary @dataset-bulk-30k.ndjson

Нужно разбить файл на части? Подскажите, как лучше это сделать с curl.

P.S.
А единственный документ в том же формате импортирует без проблем.

Answer 1

[d'Ivan]

Импортировал так. Может у кого-то есть лучше вариант - буду рад узнать.

split --verbose -l1000 dataset-bulk-30k.ndjson bulk.

for f in bulk.??; do echo $f; curl -i -X POST localhost:9200/_bulk -H "Content-Type: application/x-ndjson" --data-binary @$f; done

Comments

[Алексей Черемисин]

Нормально! У эластика есть ограничение то ли на длину булка, то ли на количество, то ли на таймаут задания. Можно настроить, но лучше разбивать на части.

[d'Ivan]

Алексей Черемисин,
Спасибо. Хотя чуется, что должно быть решение без промежуточного использования split.

[Alexey Dmitriev]

мне кажется, это ограничение веб сервера на размер файла, а не elasticа.

[Алексей Черемисин]

ну, если эластик не за прокси торчит, то там внутри jetty, у него есть ограничения, но они через конфиг эластика настраиваются.
у эластика есть еще отдельный механизм индексаций через плагины, но я им давно не пользовался, там можно и гигабайтами тянуть