Вам нужно отловить событие авторизации
OnBeforeUserLogin. В обработчике события проверите, относится ли пользователь к определенной группе. Если относится, то кинуть исключение и вернёте false, например так:
$APPLICATION->throwException('Под этим пользователем нельзя авторизовываться');
return false;