Как получить значение поля fields в маппинге Elasticsearch?

Question

[Андрей Шульц]

Есть такой маппинг, используемый для агрегации:

'mappings': {
    'my_type': {
        'properties': {
            'brand': {
                'type': 'string',
                'fields': {
                    'keyword': {
                        'type': 'string'
                    }
                }
            }
        }
    }
}

В результатах поиска выводится только brand. Как можно получить значение brand.keyword?

Answer 1

[Алексей Черемисин]

Получить нельзя, можно только по нему искать. А из _sources можно получить только оригинальное поле brand. Дополнительные поля, которые создает эластик, попадают напрямую в люсиновский индекс в качестве термов, в вашем случае туда попадет полностью значение поля brand. Но это поле больше нигде светиться не будет. Из люсины значение этого поля не выдрать.

Comments

[Андрей Шульц]

Т.е это никак не решить, кроме как введением дополнительного поля с этим значением? И если да, то на производительность это же никак не влияет?

[Алексей Черемисин]

Андрей Шульц, а зачем вам дважды значение этого поля? У вас еще и мапинг неправильный на него. Его можно получить только в агрегации.

[Алексей Черемисин]

Сделайте так. Искать будете по по brand.str, а агрегировать по brand

'mappings': {
    'my_type': {
        'properties': {
            'brand': {
                'type': 'keyword',
                'fields': {
                    'str': {
                        'type': 'string'
                    }
                }
            }
        }
    }
}

[Андрей Шульц]

Агрегацию я также использую для получения всех значений фильтра. Т.е у меня есть список фильтров со значениями. Я делаю пустой запрос с агрегацией по всем фильтрам и получаю значения для вывода пользователю. Потом соответственно он отмечает что то и вот тут мне требуется отформатированный keyword для передачи в запрос. Это конечно можно решить форматирование вывода уже в самом коде, но я думал можно как то сделать это в самом Elastic.

Например у меня есть фильтр бренд. Там есть 3 значения - Adidas Originals, Adidas и Nike. При помощи агрегации я выведу все эти значения фильтра, сгруппировав по adidas-originals, adidas и nike. Но данные значения мне тоже надо получить, чтобы передавать их в поиск, если пользователь их отметил.

[Алексей Черемисин]

Андрей Шульц, делайте подагрегацию (вложенную) по второму полю.

[Андрей Шульц]

Не совсем понял алгоритма действий.

[Алексей Черемисин]

aggr -> brand -> aggr -> brand.str
У вас любая агрегация может содержать в себе бесконечное множество вложенных агрегаций

[Андрей Шульц]

Соррян, что не понимаю, но в данном случае не совсем корректно получится. Brand у нас без not_analyzed, соответственно в случае с Adidas Originals он разобьет бренд на 2 слова. Я может не совсем верно составил структуру, но планировалось, что brand используется для полнотекстового поиска, а brand.keyword для агрегации и фильтраций.

[Алексей Черемисин]

Андрей Шульц, посмотрите, у вас у поля keyword вместо типа keyword стоит тип string, может быть поэтому у вас и не работает правильно агрегация по полю brand.keyword?!

[Андрей Шульц]

Не, у меня просто 2.3 версия, там нет keyword, там есть string и index: not_analyzed

[Андрей Шульц]

Вот полностью мой код, чтобы примерно понимать, как я строю свой индекс и заполняю:

use Elasticsearch\ClientBuilder;

require 'vendor/autoload.php';

$client = ClientBuilder::create()->build();

$params = [
    'index' => 'my_index',
	'body' => [
		'settings'	=> [
			'analysis'	=> [
				'char_filter'	=> [
					'remove_spaces'	=> [
						'type'		=> 'pattern_replace',
						'pattern'	=> '\\s+',
						'replacement'	=> '-'
					],
					'convert_amp'	=> [
						'type'		=> 'pattern_replace',
						'pattern'	=> '&',
						'replacement'	=> 'and'
					]
				],
				'analyzer'	=> [
					'my_analyzer'	=> [
						'char_filter'	=> ['remove_spaces', 'convert_amp'],
						'tokenizer'		=> 'keyword',
						'filter'		=> ['lowercase', 'asciifolding']
					]
				]
			]
		],
		'mappings' => [
			'my_type' => [
				'properties' => [
					'brand' => [
						'type'	=> 'string',
						'fields'	=> [
							'keyword'	=> [
								'type'				=> 'string',
								'analyzer'			=> 'my_analyzer',
								'index_options'		=> 'docs',
							]
						]
					],
					'color' => [
						'type'	=> 'string',
						'fields'	=> [
							'keyword'	=> [
								'type'			=> 'string',
								'analyzer'		=> 'my_analyzer',
								'index_options'	=> 'docs',
							]
						]
					],
					'category' => [
						'type'	=> 'string',
						'fields'	=> [
							'keyword'	=> [
								'type'			=> 'string',
								'analyzer'		=> 'my_analyzer',
								'index_options'	=> 'docs',
							]
						]
					],
					'id' => [
						'type'	=> 'integer',
					]	
				]
			]
		]
	]
];

$client->indices()->create($params);

$items = [
	[
		'id'		=> 1,
		'category'	=> 'Jackets',
		'brand'		=> 'Tommy Hilfiger',
		'color'		=> 'Dark Red'
	],
	[
		'id'		=> 2,
		'category'	=> 'Jeans',
		'brand'		=> 'Tommy Jeans',
		'color'		=> 'Navy'
	],
	[
		'id'		=> 3,
		'category'	=> 'Shirts',
		'brand'		=> 'Tommy Hilfiger',
		'color'		=> 'Maroon'
	],
	[
		'id'		=> 4,
		'category'	=> 'Trousers',
		'brand'		=> 'Tommy Jeans',
		'color'		=> 'Pale Grey'
	],
	[
		'id'		=> 5,
		'category'	=> 'Shirts',
		'brand'		=> 'Tommy Hilfiger',
		'color'		=> 'Grey'
	],
	[
		'id'		=> 6,
		'category'	=> 'Sneakers',
		'brand'		=> 'Tommy Jeans',
		'color'		=> 'Grey'
	],
	[
		'id'		=> 7,
		'category'	=> 'Sneakers',
		'brand'		=> 'Tommy Jeans',
		'color'		=> 'Grey'
	],
	[
		'id'		=> 8,
		'category'	=> 'Jeans',
		'brand'		=> 'Tommy   Jeans',
		'color'		=> 'Black'
	],
	[
		'id'		=> 9,
		'category'	=> 'Jeans',
		'brand'		=> 'Tommy & Jeans',
		'color'		=> 'Pale Grey'
	],
	[
		'id'		=> 10,
		'category'	=> 'Coats   &   Jackets',
		'brand'		=> 'Très Commas',
		'color'		=> 'Dark Grey'
	]
];

foreach ($items as $item) {
	$params = [
		'index' => 'my_index',
		'type' => 'my_type',
		'id' => $item['id'],
		'body' => [
			'brand'				=> $item['brand'],
			'color'				=> $item['color'],
			'category'			=> $item['category'],
		]
	];

	$client->index($params);
}

$params = [
    'index' => 'my_index',
    'body' => [
		'query' => [
            'bool' => [
                'must' => []
			]
		],
        'aggs' => [
			'brands' => [
				'terms'	=> [
					'field' => 'brand.keyword',
					'order'	=> [
						'_term'	=> 'asc'
					]
				],
				'aggs' => [
					'keywords' => [
						'terms'	=> [
							'field' => 'brand',
							'order'	=> [
								'_term'	=> 'asc'
							]
						]
					]
				],
			],
			'categories' => [
				'terms'	=> [
					'field' => 'category.keyword',
					'order'	=> [
						'_term'	=> 'asc'
					]
				]
			],
			'colors' => [
				'terms'	=> [
					'field' => 'color.keyword',
					'order'	=> [
						'_term'	=> 'asc'
					]
				]
			]
		],
		'sort'	=> [
			'category.keyword'	=> 'asc'
		]
    ]
];

$response = $client->search($params);
print_r($response['aggregations']);

[Алексей Черемисин]

Андрей Шульц, тогда добавьте index:not_analyzed к полю keyword
Иначе у вас и это поле разобьется на термы, а оно вам так не нужно

[Андрей Шульц]

Ну в данном случае нет, поскольку кастомный анализатор пробелы заменяет на дефисы.

[Алексей Черемисин]

Так, добавьте еще одно поле raw с not_analyzed, пусть будет два поля: и keyword и raw. По последнему и будете делать агрегацию

[Алексей Черемисин]

Кстати, последние версии эластика так и поступают, поле raw всегда добавляют к практически любому текстовому полю по умолчанию с типом keyword (not_analyzed).

[Андрей Шульц]

А не правильней просто будет вынести keyword в поля? Тогда не потребуется введения двойной агрегации и дополнительного поля. Не так изящно будет конечно, но мне кажется так правильней, раз никак его из fields не получить.

[Алексей Черемисин]

Андрей Шульц, можно и так сделать, но зачем? Это поле из документа вы и так достанете без изменений,

[Алексей Черемисин]

Смотрите, у вас есть поле, которое хотим использовать и в агрегации для фильтров в Web в виде неизмененных значений, и при поиске по термам, и например для автозаполнения. Тогда нам нужно сделать из этого поля еще два дополнительных (одно значение у нас и так есть), к оригинальному полю мы тогла приделываем наш суровый кастомный анализатор, а в дополнительных полях делаем один с триграм внализатором, а второй - без анализатора.

[Алексей Черемисин]

Итого: как-то так, пишу с планшета

brand -> type: myanalyzer
           -   fields [ auto -> type: thrigram,
                         raw --> type: not-analyzed
                       ]