Админка django (и ее батарейки) - это jquery. Другие фронтенд-технологии прилепить можно, но это будет франкенштейн.
Лучше или пользоваться стандартной админкой, или писать что-то своё на базе REST API. Стандартная даст хоть и кривенький местами, но быстрый старт, REST со своим фронтом даст полностью подконтрольный дизайн без подпорок еще на стапелях.
Что касается доступов - их лучше проверять стандартными механизмами Django permissions на бекенде, чтобы всякие кулхацкеры вашу фронтенд-защиту не обошли.
Или может отказаться от админки и бэка полностью и писать свое?
Начните с полностью стандартной админки, если интерфейс CRUD не является основной фичей проекта, это сэкономит ощутимое количество времени.