Как индексировать файлы в elasticsearch?

Question

[Johnick]

Приветствую.
Можете подсказать, как лучше поступить в данной ситуации.

Есть небольшая БЗ со статьями. К каждой статье можно добавлять n вложений. Эту статью и вложения нужно проиндексировать и производить по ним поиск.

Со статьей понятно. А вот с вложениями, когда их больше одного не очень понятно, как их лучше хранить. Во всех мануалах, я так понял, через плагин ingest-attachment, к одному документу можно добавить только одно вложение.
Есть ли вариант добавить несколько? Или так не дают и для каждого вложения нужно создавать отдельный документ? Или может еще есть, какие то варианты?

Answer 1

[subsetofmultiset]

Что насчет nested field type?

Comments

[Johnick]

Пробовал. Не работает или нужен какой то не "хитрый" запрос на добавление в индекс.
Активация pipeline проходит, вроде, нормально. Но когда пытаюшься создать документ рагается на поле data.

{
  "description": "files",
  "processors": [
    {
      "attachment": {
        "field": "att.data",
        "indexed_chars": -1
      }
    }
  ]
}

{
        "type" : "illegal_argument_exception",
        "reason" : "[data] is not an integer, cannot be used as an index as part of path [att.data]"
      }

Answer 2

[Vitaly Karasik]

Наверно, зависит от вложений - PDF можно парсить и искать по нему, картинки и т.п. - нет.
Посмотрите на https://www.elastic.co/guide/en/elasticsearch/plug....
https://discuss.elastic.co/t/how-to-index-and-stor...

Comments

[Johnick]

Это понятно, что разбирать и искать можно только по текстовым документам.

Мне не понятно, как их правильно хранить. Для каждого вложения создавать новый документ или как-то можно засунуть n вложений в один документ.

[Vitaly Karasik]

Сорри, ответил не проснувшись и не дочитав вопрос до конца.
Если не против, сотру свой ответ.

Answer 3

[d'Ivan]

Для индексации файлов можно взять Solr, работающий на том же движке.

Comments

[Johnick]

Зачем? ES отлично с этим справляется. Мне просто хотелось узнать можно ли в однин документ добавлять несколько файлов. Пока таких примеров не нашел, добаляю, каждое вложение, как отдельный документ.