Массив структур в Hive. Как проверить вхождение в массив структуры по маске?

Question

[Иван Мельников]

В таблице в hive есть поле

segments array<struct<id:bigint, lm:bigint, prob:float>>

Как я могу проверить, что в массив входят одновременно две структуры с id = 1 и id = 2 ?
Например:
[(1, 1699760620, 0.1), (2, 1699760620, 0.1), (3, 1699760620, 0.1)] -> True
[(1, 1699760620, 0.1), (3, 1699760620, 0.1), (3, 1699760620, 0.1)] -> False

Может быть как-то можно создать вычисляемое поле ids array<id>, которое будет содержать все id из массива структур (segments)? Тогда можно было бы просто написать

...
WHERE 1 in ids and 2 in ids

Comments

[mayton2019]

В каком формате лежит таблица?

[Иван Мельников]

mayton2019,

[mayton2019]

Я не знаю Hive, но если там поддерживается SQL explode - то разверни эти массивы на 90 градусов
и получишь обычную таблицу и дальше реляционными операциями сделай нужные поиски.

[Иван Мельников]

mayton2019, так и сделал. Но всё равно хотелось бы найти подход более оптимальный.

[mayton2019]

Иван Мельников, оптимальный в чем? Есть разные пути оптимизации. По объему кода. По скорости вычислений. По объему занятой временной памяти для алгоритма. Если ты хочешь серъезно так... по честному провести сравнение то тебе нужна среда где можно измерять все эти параметры.

Мой опыт подсказывает что в dbms обычно не ищут перфекционизма а просто берут то решение которое работает и то которое ДОСТАТОЧНО для выдачи ответа.