У identity server есть
UserEndpoint который может вам вернуть любую информацию о пользователе, которую вы сконфигурируете. Можно роли, можно дополнительные структуры какие-то.
А дальше вы просто настраиваете на Asp.Net авторизацию по ролям или по claims.
Если хотите чтобы изменения применялись сразу используйте reference_token, можно с небольшим кэшированием.
Если готовы подождать, то ставьте короткоживущие jwt