иногда туплю над организацией
По-моему, после этого ответ вопрос "учить ли фреймворки" очевиден:)
клипать аппки на ванильном JS
Тут два возможных исхода. Либо вы придете в итоге к своему фреймворку -- который будет бажный, бедный и странный, потому что вы всего один, а vue/react/angular делают целые команды годами (к тому же у вас проблемы со структурой по вашим же словам). Либо закопаетесь в очень специфичных вещах, небольших лендингах, расширениях для браузеров и прочей мелочевке (я не говорю что это плохо само по себе, просто очень уж нишево).
Подавляющее большинство работы на JS — это всякие админки и дашборды, которые собираются в основном из готовых компонентов и на переизобретение фреймворков просто нет времени.