На чистом php, не стоит хотя бы потому, что затраты на разработку будут намного выше, а профит в плане производительности весьма сомнителен.
Я присоединяюсь к Yii, ещё можно посмотреть на различные микро-фреймворки.
Но вообще говоря, производительность прежде всего будет зависеть от правильной архитектуры, от правильного применения кеширования, от оптимизации запросов, и куда в меньшей степени, от фреймворка.