ComodoHacker

а можно в отдельной таблице, но это накладнее.

Ошибка тут.

Велосипед, конечно же, уже придуман, и называется расстояние Хэмминга. Только ваши флаги нужно представить в виде битовой строки.

https://stackoverflow.com/questions/4777070/hammin...

Начнем с понимания того, что X это множество множеств, а Y это множество элементов. Поэтому, сравнивать можно (и нужно) Y и элементы X, либо элементы Y и «элементы элементов» X.

Дальше, обозначим элемент X как x. То, что x является подмножеством Y, на SQL можно выразить так

not exists (
    select 1
      from x left join Y on x.id = Y.id
     where Y.id is null
)

Дальше, возвращаясь к вашей задаче, нужно уточнить, как у вас хранится множество X. Например, если в одной таблице X (set_id, element_id), то можно соединить ее с Y внешним соединением, как выше, а затем отфильтровать множества, не полностью содержащиеся в Y. Для этого хорошо подойдут аналитические функции, если ваша СУБД их поддерживает в должном объеме. Опять требуется уточнение.