что это больше full стек фреймворк
Ошибаешься. ASP NET Core отвечает только за обработку http-запросов и жизненный цикл приложения.
В этом плане он больше похож на какой-нибудь чисто бэкендовый фреймворк типа Nest.js
full stack - это ASP NET Core MVC с Razor Pages (или с Blazor).
Он как раз будет похож на Django с его html-шаблонами и jinja.
Меня интересует только бэкенд разработка, мне обязательно при изучении asp.net core знать html и css?
Конечно не обязательно, если ты не собираешься делать фронт.
Как пример архитектуры можешь посмотреть на
eShopOnWeb и
eShopOnContainers (к каждому из них прилагается бесплатная книга с подробным описанием) - в них как раз есть пример разделения web api и UI с MVC
Вот схема, как сделан eShopOnContainers к примеру (обрати внимание на разделение API и webApp)