Как писать запросы со специальными символами в ElasticSearch?

Question

[Niko True]

Здравствуйте. Вопрос в следующем, необходимо выбрать данные допустим за последние 10 минут. Есть сервисы, которые вызываются. Необходимо сгрупировать по этим сервисам и посчитать количество их выводов, а так же добавить количество ошибок, которое находится через фильтр. В фильтре используются специальные символы, и по ним не ищется. ES игнорирует их. Пример, того что уже есть:

spoiler

GET _search?
{
	"query": {
		"filtered": {
			"query": {
				"query_string": {
					"query": "*"
				}
			},
			"filter": {
				"bool": {
					"must": [
						{
							"range": {
								"datetime": {
									"gte": "now-10m",
									"lte": "now"
								}
							}
						}
					]
				}
			}
		}
	},
	"size": 0,
	"aggs": {
		"services": {
			"terms": {
				"field": "info.raw",
				"size": 500,
				"order": {
					"myerrors": "desc"
				}
			},
			"aggs": {
				"myerrors": {
					"filter": {
						"query": {
							"query_string": { 
								"analyzer": "whitespace",
								"query": "error-3"
							}
						}
					}
				}
			}
		}
	}
}

Answer 1

[Niko True]

Алексей Черемисин Здравствуйте, может Вы сможете помочь?

Comments

[Алексей Черемисин]

Вопросов два.
1) Сам запрос не работает или агрегация?
2) А мапинг какой?
И
1) Добавьте результат запроса...
2) Добавьте сам документ...

[Niko True]

Алексей Черемисин,
1) не работает агрегация. Если использовать только "error" - считает правильно, если указать "error-3" считает сумму "error" и "3". Если "error\\-3", тогда везде 0.
2)Видимо стандартный. Его можно изменять для конкретного запроса?
3)

Пример результата

"aggregations": {
      "services": {
         "doc_count_error_upper_bound": 0,
         "sum_other_doc_count": 0,
         "buckets": [
            {
               "key": ".myServiceError",
               "doc_count": 321,
               "myerrors": {
                  "doc_count": 8
               }
            }

Это пример для первого случая. Во втором: "doc_count": 321, "myerrors": 225. В третьем: "doc_count": 8, "myerrors": 0.
4) Сам документ имеется ввиду лог?

[Алексей Черемисин]

1) не работает агрегация. Если использовать только "error" - считает правильно, если указать "error-3" считает сумму "error" и "3". Если "error\\-3", тогда везде 0.

У вас ошибка в мапинге, точнее в разделении на термы! Вы пытаетесь проаггрегировать по терму "error-3", а у вас в индексе вместо этого лежат два терма "error" и "3".
соответственно и агрегация по "error\\-3" дает нулевой результат - такого терма просто НЕТ!
Ну а "error-3" дает разбиение на два терма, по которым и аггрегирует к вашему неудовольствию.

Как выйти из положения? Установить аналайзер "analyzer": "whitespace" в мапинге на ваши поля, чтобы при индексации "error-3" не превратился в "error" и "3".
https://www.elastic.co/guide/en/elasticsearch/refe...

Только данные придется переиндексировать.

[Алексей Черемисин]

Вот, начните отсюда - https://www.elastic.co/guide/en/elasticsearch/refe...
И да, мапинг можно сделать по дефолту, для того, чтобы новые индексы автоматически брали настройки из шаблонов мапинга.

[Niko True]

Алексей Черемисин, ну собственно я так и думал. Просто пока разбирался нашел кучу примеров - где говорят, что "analyzer" можно указать для конкретного запроса, а у меня такая схема не работает.

[Алексей Черемисин]

Niko True, Да, аналайзер в запросе указывать можно, но он будет разбивать на термы запрос, но это никак не отразится на термах в индексе.

[Niko True]

Алексей Черемисин, прошу прощения, но есть еще один вопрос. Если я сделаю маппинг по "whitespace" - ,будет ли осущесвляться поиск, если например я укажу "error\\-3", а в индексе будет храниться "error-34567332"? И правильно понял, что у "whitespace" есть зависимость от регистра?

[Алексей Черемисин]

Niko True, Если будете искать по термам, то error-34567332 и error-3 - разные термы. Вам тогда или другой поиск нужно делать, например по префиксу https://www.elastic.co/guide/en/elasticsearch/refe... или fuzzi, или другой подобный, например wildcard - https://www.elastic.co/guide/en/elasticsearch/refe...

Ну а что касается зависимости от регистра, то можно все термы переводить в нужный регистр сразу фильтрами при индексации. Это делается тоже через маппинг, в аналайзере
"filter": ["lowercase", ....]

Answer 2

[chupasaurus]

Экранирование через \, например\*
Lucene syntax

Comments

[Niko True]

Это я в первую очередь сделал, и на сколько мне известно там нужно использовать два слэша)

[chupasaurus]

Niko True, даже кибана какбе намекает

[Niko True]

chupasaurus, я понимаю, что намекает, но пробую запрос - он не срабатывает. Я вижу, что ошибки есть такого вида, но мне выдает 0.
Я собственно задавал этот вопрос, потому что есть подозрение, что analyzer не работает с query.