Как в Elasticsearch удалить документы соответствующие условию?

Question

[Игорь Че]

У меня в Python скрипте раньше использовался elasticutils.
Сейчас переписываю под использование модуля elasticsearch-dsl

Вот старый код:

from elasticutils import get_es

es = get_es(urls=config.ELASTIC_SEARCH_HOSTS, timeout=timeout)
es.delete_by_query(
            'posts',
            'post',
            {'query': {'term': {'user_id': user.id}}})

В elasticsearch-dsl нет ничего для такой операции.

Как удалить документы по условию модулем elasticsearch?
Используется Elasticsearch 2.4.
Модуль delete_by_query выпилен из второго эластика, впиливать его обратно не желательно.

Насколько понимаю нужно удалять через bulk. Но не понимаю как построить запрос.

Answer 1

[Алексей Черемисин]

Попробуйте через обычного клиента (код не проверял, надергал из исходников, но должно работать)

from elasticsearch import Elasticsearch, helpers

es = Elasticsearch()

def mybulk_delete(q, index, doc_type):
   res = helpers.scan(es,
                       query={"query": q},
                       index=index, doc_type= doc_type)
    for r in res:
       yield {"delete" : { "_index" : r["_index"], "_type" : r["_type"], "_id" : r["_id"] } }

q = {"query":{"term":{"user":"kimchy"}}}
k = (i for i in mybulk_delete(q,"myindex", "mytype"))
helpers.bulk(es, k, refresh = True)

Comments

[Игорь Че]

Спасибо большое.
Подправил под себя.
Только в helpers.bulk нужно передавать дополнительные параметры:

helpers.bulk(es, k, index='posts', doc_type='post', refresh=True)

В ответ выдает:
(14, [])
Т.е. сообщает что успешно прошло 14 операций.
Но на самом деле ничего не удалилось.

k выглядит корректно:
[{'delete': {'_index': 'posts', '_type': 'post', '_id': '52'}},
{'delete': {'_index': 'posts', '_type': 'post', '_id': '144'}},
...
]

Не представляю в чем дело.

[Игорь Че]

Нашел в чем проблема. Нужно так:
yield { "_op_type": "delete", "_index": r["_index"], "_type": r["_type"], "_id": r["_id"] }

Спасибо огромное за помощь.

[Алексей Черемисин]

Игорь Че, ну, извиняйте, из исходников дергал :-) рад, что помогло.

Answer 2

[Евгений Панин]

Например, так:

POST finrep/securities/_delete_by_query
{
  "query": { 
    "match": {
      "company_name": "ТрансКонтейнер"
    }
  }
}