Вот только бился с такой проблемой, потому пишу. Там в самой библиотеке ошибка, принимает ограниченный диапазон значений групп и каналов. Ставим вверху фикс:

def get_peer_type_new(peer_id: int) -> str:
    peer_id_str = str(peer_id)
    if not peer_id_str.startswith("-"):
        return "user"
    elif peer_id_str.startswith("-100"):
        return "channel"
    else:
        return "chat"

utils.get_peer_type = get_peer_type_new

И ветка на гитхабе:
https://github.com/pyrogram/pyrogram/issues/1314