При сохранении документа нужно проверить уникальность post_id привязанного к idGroup
Т.е. если такой post_id у idGroup существует, то сохранять документ не нужно.
Соответственно вставка нового документа с аналогичными значениями вызовет ошибку Duplicate key с кодом 11000.
Также, возможно, вам потребуется отключить autoIndex при создании новой схемы, если он у вас не отключен глобально. Доки mongoose Составные индексы Уникальные индексы