Возможно, вы указываете ID чата в неверном формате. Дело в том, что форматы ID в Telegram отличаются между Bot API и MT-Proto API. Для работы с Pyrogram вам нужен ID чата в формате MT-Proto API.
К примеру, чат t.me/BotTalk имеет ID 1311056733 (MT-Proto) и -1001311056733 (Bot API). Для того, чтобы преобразовать ID в формат MT-Proto, нужно взять число с противоположным знаком (убрать минус) и вычесть из него 1000000000000