Обозначим обратный через x*, так писать проще.
Берём элемент h∈H, ≠1 и другой g∉H, ≠1. Заметим, что:
• h*∈H, ≠1, а g*∉H, ≠1
• gh, hg, g*h и т.д. в любых сочетаниях ≠1.
Вариант первый. x=gh∈H. Множим справа на h*, и получаем xh* = ghh* = g. Слева штуки из H, справа нет — H не замкнута.
Вариант второй. x=gh∉H. Множим слева на g*, и получаем g*x = g*gh = h. Слева штуки из нашей подгруппы (G \ H) ∪ {1}, справа нет. Так что подгруппа явно не замкнута.
Для полугрупп с единицей, о которых ты пытался говорить, это НЕ ТАК. Как известно, у любой конечной полугруппы есть идемпотент — тем лучше. Пусть G = B², H={00, 10}, операция — побитовое ИЛИ, E=00. Тогда множество (G\H)∪E={00,01,11} явно замкнуто относительно ИЛИ. (Я пытался вводить ажурные B и единицу, а система стирает.)