Как уменьшить влияние russian_morphology на скорость индекса в elasticsearch 2.4?

Question

[Антон Иванов]

Всем привет.

Использую вот этот плагин: https://github.com/imotov/elasticsearch-analysis-m...
И вот такую настройку индекса:

index:
  number_of_shards: 5

  analysis:
    char_filter:
      ru:
        type: mapping
        mappings: ['Ё=>Е', 'ё=>е']
    analyzer:
      default_index:
        alias: [index_ru]
        type: custom
        tokenizer: nGram
        filter: [stopwords_ru, stop, custom_word_delimiter, lowercase, russian_morphology, english_morphology]
        char_filter: [ru]
      default_search:
        alias: [search_ru]
        type: custom
        tokenizer: standard
        filter: [stopwords_ru, stop, custom_word_delimiter, lowercase, russian_morphology, english_morphology]
        char_filter: [ru]
    tokenizer:
      nGram:
        type: nGram
        min_gram: 4
        max_gram: 20
    filter:
      stopwords_ru:
        type: stop
        stopwords: [а,без,более,бы,был,была,были,было,быть,в,вам,вас,весь,во,вот,все,всего,всех,вы,где,да,даже,для,до,его,ее,если,есть,еще,же,за,здесь,и,из,или,им,их,к,как,ко,когда,кто,ли,либо,мне,может,мы,на,надо,наш,не,него,нее,нет,ни
        ignore_case: true
      custom_word_delimiter:
        type: word_delimiter
        # "PowerShot" ⇒ "Power" "Shot", части одного слова становятся отдельными токенами
        generate_word_parts: true
        generate_number_parts: true  # "500-42" ⇒ "500" "42"
        catenate_words: true  # "wi-fi" ⇒ "wifi"
        catenate_numbers: false  # "500-42" ⇒ "50042"
        catenate_all: true  # "wi-fi-4000" ⇒ "wifi4000"
        split_on_case_change: true  # "PowerShot" ⇒ "Power" "Shot"
        preserve_original: true  # "500-42" ⇒ "500-42" "500" "42"
        split_on_numerics: false  # "j2se" ⇒ "j" "2" "se"

Индекс новых документов идет достаточно медленно, порядка 10 документов в секунду.
При отключении анализа морфологии скорость возрастает в несколько раз.
Можно как-то ускорить индексацию новых документов, или это нормальная скорость?
Проверяю на макбуке Late 2013, Core i7 2.6, памяти для эластика выделено 5 GB

Заранее спасибо.

Comments

[un1t]

Групповые вставки не подходят?

[Антон Иванов]

un1t: Скорость почти аналогичная.

[un1t]

Антон Иванов: версия точно 2.4? вроде пока последняя 2.3.5. У меня используется 2.3.1 с тем же плагином и похожими настройками. Одиночные вставки не скажу сколько, но групповые получаются примерно 10 тыс документов в секунду. Подозреваю что все-таки не в плагине проблема.

[Антон Иванов]

un1t: конечно же с версией я ошибся. 2.3.4 у меня. На 2.3.3 на сервере на ubuntu была такая же проблема.
Можете показать свои настройки для индекса? Может у меня какая-то мелочь одна все так тормозит. Ну и то, что анализируются этим анализатором все строки, а не только те, где это явно указано.
Если не в плагине, то в чем может быть проблема? Heap size - пять гигов. Ограничение JVM на 10240 файлов снято, диск на маке быстрый. Во время инсертов (групповых, в один поток, по 100 документов), процессор загружен на 500-600 процентов (по Activity Monitor). Размер у документов - примерно по килобайту каждый. Около 20 полей, 90% из них строковые, весь "вес" только на одном поле, остальные - 2-3 слова.

[un1t]

{
    "analysis": {
        "char_filter": {
            "my_charfilter": {
                "type": "mapping",
                "mappings": ["Ё=>Е", "ё=>е"]
            }
        },
        "analyzer": {
            "default_index": {
                "type": "custom",
                "char_filter": ["my_charfilter"],
                "tokenizer": "standard",
                "filter": ["lowercase", "russian_morphology", "my_stopwords"],
            },
            "default_search": {
                "type": "custom",
                "char_filter": ["my_charfilter"],
                "tokenizer": "standard",
                "filter": ["lowercase", "russian_morphology", "my_stopwords"],
            }
        },
        "filter": {
            "my_stopwords": {
                "type": "stop",
                "stopwords": "а,без,более,бы,был,была,были,было,быть,в,вам,вас,весь,во,вот,все,всего,всех,вы,где,да,даже,для,до,его,ее,если,есть,еще,же,за,здесь,и,из,или,им,их,к,как,ко,когда,кто,ли,либо,мне,может,мы,на,надо,наш,не,него,нее,нет,ни,них,но,ну,о,об,однако,он,она,они,оно,от,очень,по,под,при,с,со,так,также,такой,там,те,тем,то,того,тоже,той,только,том,ты,у,уже,хотя,чего,чей,чем,что,чтобы,чье,чья,эта,эти,это,я"
            },
        }
    },
}

Правда а у меня документы поменьше, название и описание на один абзац.

[Антон Иванов]

un1t: Проблема была в настройках токенайзера. nGram очень тормозит. standard работает очень быстро.

[un1t]

Антон Иванов: понятно, буду иметь ввиду