Привет. Интересный вопрос. Ранее не сталкивался. Сижу тыкаю ))
Есть группа объектов.
В самом низу группы Зеленый квадрат с режимом наложения Overlay,
Затем Лиловый квадрат с режимом Multiply
И синий кругляш с режимом Screen

Итак:
Первая галочка (Isolate Blending) Отключена:
То есть режимы наложения работают в отношении группы тоже. Учитывается фон.
Первая галочка (Isolate Blending) Включена:
Режим наложения объектов в группе работают только внутри группы, в тех местах, где пересекаются между собой и фон под группой вообще не учитывается. А в тех местах где под ними нет других объектов в их группе, режим наложения не работает (становится обычный режим Normal на прозрачном фоне).
А маску с учетом непрозрачности я так и не допер ))