Переопределять настройки плохая практика:)
Можно пойти немного другим путем:
1. Менять путь до шаблона во views
template = get_template("%s/base.html" % request.domain)
2. Динамически генерировать имена шаблонов во views и context_processros, а потом передавать их как переменные в шаблоны для использования в include и extends.
"domain_base_template": "%s/base.html" % request.domain
{% extends domain_base_template %}