А что, если продублировать блоки поверх маски, но, с opacity 0?
Ну и дальше делать так, чтобы при взаимодействии с блоками, которые выше маски изменялись не только оно, но те, что под маской.
Немного костыль, но, это первое, что пришло в голову
Пы.сы, pointer-events — быстрее