У меня примерно такая же проблема, мне постоянно хочется улучшать код, который я пишу, из соображений производительности и красоты, но этот перфекционизм излишен и сильно увеличивает сроки разработки.
Пока нет реально заметных тормозов - не надо ничего оптимизировать. Тенденция не самая хорошая (Witcher 3, Chrome, Assassins Creed - это только вершина айсберга), но пока вы будете делать свой идеальный быстрый плагин, конкуренты напишут кучу глючных кривых костылей, которые уже будут работать, и люди будут пользоваться ими, а когда наконец зарелизите версию 1.0, она уже настолько устареет, что вы и сами ей пользоваться не будете.