Elasticsearch geohash — как получить данные которые были агрегированы?

Question

[German Zvonchuk]

Здравствуйте.

Агрегирую geo_point точки при помощи GeoHash grid Aggregation.
Получаю GeoHash и количество точек которые агрегированы в ней.

Вопрос, как получить список точек, которые агрегированы в рамках конкретного GeoHash?

Посылаю запрос, чтобы получить GeoHash.

{
  "aggregations": {
    "filter_agg": {
      "filter": {
        "geo_bounding_box": {
          "ignore_unmapped": true,
          "location": {
            "top_left": "41.098804663542325,49.355824553713035",
            "bottom_right": "39.99393061395733,50.19470905400232"
          }
        }
      },
      "aggregations": {
        "data": {
          "geohash_grid": {
            "field": "location",
            "precision": "6"
          },
          "aggregations": {
            "info": {
              "geo_centroid": {
                "field": "location"
              }
            }
          }
        }
      }
    }
  },
  "size": 0
}

Получаю ответ:

{
  "key": "tp5mwz",
  "doc_count": 734,
  "info": {
    "location": {
      "lat": 40.382942053957585,
      "lon": 49.87214530620226
    },
    "count": 734
  }
},
{
  "key": "tp5my0",
  "doc_count": 583,
  "info": {
    "location": {
      "lat": 40.38779562121931,
      "lon": 49.841050580463424
    },
    "count": 583
  }
}

Моя задача состоит в том, чтобы получить 734 геопоинта которые спрятаны за геохешем "tp5mwz".

Буду очень признателен, если подскажите каким образом мне это сделать?

Comments

[Dmitry Bay]

German Zvonchuk Герман, как успехи по работе с geohash?

[German Zvonchuk]

kawabunga все было предельно просто, проблемы решена.

На сколько я помню сейчас, скрипт получал геохаш и возвращал top_left и bottom_right, а я отправлял запрос в эластик на top_right и bottom_left.

Далее я пошёл дальше и написал маленький wrapper, чтобы можно было удобно и быстро собирать запросы в стиле ORM и отправлять запрос.

Буквально вчера открыл для себя php elastica и немножко растопился.

Answer 1

[Алексей Черемисин]

Нужно будет делать еще один запрос, уже с параметрами агрегации. Тогда получите свои точки, все, без остатка.

Comments

[German Zvonchuk]

Алексей Черемисин я пробовал два варианта, но оба делают не то:

1-ый вариант:

Дистанцию указан согласно таблице:

Geohash length	Cell width	Cell height
1	≤ 5,000km	×	5,000km
2	≤ 1,250km	×	625km
3	≤ 156km	×	156km
4	≤ 39.1km	×	19.5km
5	≤ 4.89km	×	4.89km
6	≤ 1.22km	×	0.61km
7	≤ 153m	×	153m
8	≤ 38.2m	×	19.1m
9	≤ 4.77m	×	4.77m
10	≤ 1.19m	×	0.596m
11	≤ 149mm	×	149mm
12	≤ 37.2mm	×	18.6mm

tp5mwz это следующие координаты:
"lat": "40.382995605469",
"lon": "49.872436523438"

{
  "query": {
    "bool": {
      "must": {
        "match_all": {
          "boost": 1
        }
      },
      "filter": {
        "geo_distance": {
          "distance": "1.2km",
          "location": {
            "lat": "40.382995605469",
            "lon": "49.872436523438"
          }
        }
      }
    }
  },
  "size": 0
}

в ответ получаю 1120 записей, вместо 734 записей которые были в аггрегации.

[Алексей Черемисин]

Подозреваю, что проблема в том, что Вы делаете агрегацию по сетке, а поиск осуществляете по окружности.
Скорее всего нужно искать не по geo_distance, а по geo_bounding_box
Другими словами, коррдинаты точки и радиус нужно преобразовать в BBOX и по нему искать.

[Алексей Черемисин]

А вообще-то Вам нужно просто преобразовать гео-хеш (он уже в нужной точностью!) из агрегации в bbox, и уже по этому bbox делать запрос geo_bounding_box
"tp5my" ->
Lat (λ)min 40.3857421875
Lat (λ)max 40.3912353515625
Lng (φ)min 49.833984375
Lng (φ)max 49.844970703125

[German Zvonchuk]

Алексей Черемисин, я пробовал использовать и не использовать geo_centroid при агрегации.
Для хеша tp5mwz в обоих случаях получаю 734 записи.

Я пробовал использовать geo_bounding_box для хеша tp5mwz, он возвращает 1768 вместо 734 записей которые были в аггрегации.

{
  "query": {
    "bool": {
      "filter": {
        "geo_bounding_box": {
          "location": {
            "top_left": {
              "lat": 40.3857421875,
              "lon": 49.8779296875
            },
            "bottom_right": {
              "lat": 40.3802490234375,
              "lon": 49.866943359375
            }
          }
        }
      }
    }
  },
  "size": 0
}

[Алексей Черемисин]

Секундочку, у вас агрегация с фильтрацией, попробуйте добавить еще и этот фильтр в запрос (как must)

"filter": {
        "geo_bounding_box": {
          "ignore_unmapped": true,
          "location": {
            "top_left": "41.098804663542325,49.355824553713035",
            "bottom_right": "39.99393061395733,50.19470905400232"
          }
        }

[Алексей Черемисин]

Другими словами, вам нужно соблюсти в запросе те же самые условия, что и при агрегации.

[German Zvonchuk]

Алексей Черемисин я кажется понял свою ошибку.

tp5mwz - это
"top_left": "40.385774,49.866911", -
"bottom_right": "40.380241,49.877929"

на глаз с этого сайта взял:

-------

а (библиотека) которую я использую выдает

"top_left": "40.3857421875,49.8779296875", это на самом деле top right
"bottom_right": "40.380249023438,49.866943359375" это на самом деле bottom left

Поэтому эластик мне некорректные данные выдает.

Остается найти библиотеку которая при помощи geohash вернет top_left и bottom_right.

[Алексей Черемисин]

уух... попробуйте на wikipedia покопаться, он вроде бы несложный - https://en.wikipedia.org/wiki/Geohash#Algorithm_an...