Поковырялся в настройках проекта и нашел галочку BackwardCompatibleIDGeneration, которая по умолчанию стоит False. Установка этому свойству значение True решит проблему, т.е. скомпилированный msi будет совместим со старыми версиями (vs2008 и ранее).
P.S. чтобы открыть свойства выделите ваш setup-project в solution explorer и нажмите Left Alt + Enter