Скорее всего, писать свою кастомную админку - в обычной админке, такого функционала не предусмотрено. По времени и по затратам это достаточно большие вложения.
На мой взгляд порядок работы такой:
1. Создание кастомного юзера
2. Аутентификация и авторизация юзера в личный кабинет (кастомная админка)
3. Написать ограничения, которые будут показывать модератору только его часть.
4. Написать UpdateView, CreateView, DeleteView, ListView для ваших моделей с шаблонами.