Как удалить много записей из elasticsearch?

Question

[Илья Т.]

Дано, база на сотни миллионов записей вида:
ID, FILE_ID, SITE_ID
надо оптимальным образом удалить десятки тысяч записей для которых мы знаем FILE_ID, а SITE_ID в пределах одного запроса - одинаковый.
ID - уникальны (но мы их изначально не знаем)
FILE_ID - уникальны для каждого сайта
Т.е. на SQL это выглядело бы примерно так
delete from table where (FILE_ID=x or FILE_ID=y or ....) and (SITE_ID=z)

Comments

[kotofey]

У вас какая версия ластика?

[Илья Т.]

kotofey: последня - пятьчегототам

[al_gon]

Илья Т. Может нашли уже какое-то рафинированное решение? поделитесь, интресно.

[Илья Т.]

al_gon: Пока нет, но думаю надо использовать bulk: https://www.elastic.co/guide/en/elasticsearch/refe...

[al_gon]

Илья Т.: Тоже вариант, сапсибо за инфу!
Скорее всего в Bulk'e будет только удаление по ID.

[Илья Т.]

al_gon: Да, видимо надо создать синтетический хэш айди из двух полей.

Answer 1

[al_gon]

Ничего умнее не приходит в голову.

https://www.elastic.co/guide/en/elasticsearch/refe...

{
    "query": {
        "query_string": {
            "query": "(FILE_ID:x OR FILE_ID:y OR ....) AND (SITE_ID:z)"
        }
    }
}

Comments

[al_gon]

естественно одним запросом не обойтись.

[al_gon]

И да учитывать query-string-length-limit тоже надо. По дефолту помойму 1024 boolean clauses.

Answer 2

[Вадим Степанов]

Для ES 5.0+ есть DeleteByQuery API
https://www.elastic.co/guide/en/elasticsearch/refe...

POST index_name/type_name/_delete_by_query
{
  "query": {
    "bool": {
      "must": [
        {"term": {"SITE_ID": "z"}}
      ],
      "should": [
        {"term": {"FILE_ID": "x"}},
        {"term": {"FILE_ID": "y"}},
        ...
      ],
      "minimum_should_match": 1
    }
  }
}

Comments

[al_gon]

Есть разнизница между вашим варинтом и тем который у меня,
кроме формата естественно?

[Вадим Степанов]

Большой разницы нет.
Не вчитался до конца в ваш комментарий когда писал свой.