Наткнулся на Ваш вопрос в поисках ответа, я решил вопрос тем что прописал SQL запрос прямо в таблицу соответствия групп и пользователей на backend'е, а далее можно пихнуть в переменную и передать списком уже в шаблон.
from django.db import connection
def get_user_groups(user_id):
cursor_get_group = connection.cursor()
cursor_get_group.execute("SELECT group_id FROM auth_user_groups WHERE user_id = %s", [user_id])
groups = cursor_get_group.all()
return groups