Вся входящая почта поступает в inbox. По папкам ее раскладывает уже почтовый клиент, как правило. В противном случае - да, только опрашивать все необходимы папки или, если это поддерживает сервер, подписываться на события IMAP NOTIFY для интересующих вас папок.