и есть html файл который определяет по ссылке какое приложение сейчас используется.
Не надо так.
В Django есть возможность в каждом приложении создавать свои шаблоны и static файлы - css, js и т.п. Шаблоны могут наследоваться друг от друга - это ключевой момент для логичной их организации даже для небольшого проекта, не говоря уже про большие.
Можете создать один общий родительский шаблон-лэйаут на весь проект, в нём подключить общую для проекта статику (всякие там jquery и прочие либы).
В каждом приложении в свою очередь создаётся свой лэйаут или шаблон, отнаследованный от общего, и в нём уже дополнительно подключаются конкретные css/js конкретного приложения.
Погуглите про наследование шаблонов, про блоки в них и про то, как переопределять эти блоки в отнаследованных шаблонах.