а значит надо еще и прикручивать blade
Не значит.
К тому же кто-то писал, что dingo/api плохая вещь.
Вас никто не заставляет его использовать, если он плохая вещь.
но я хочу грамотно и определить для себя хорошую архитектуру.
Хорошая архитектура начинается с постановки конкретных задач и требований, а в данный момент у Вас нет вообще никаких конкретных требований - можете делать на чём угодно, для данных условий подходит любой вариант.
аргументированные ответы и ваш опыт.
Мой опыт подсказывает мне, что Lumen был изначально придуман для максимальной скорости работы, что обычно важно при написании таких сервисов как различные REST/API-серверы, особенно при больших нагрузках на оные.
а следовательно зря тащиться каждый раз в проекте и мусорить
Обычно то, что Вы называете "мусором" лежит в тех папках, в которые программисту лазить по определению не положено. Но, если ставить вопрос именно так то "мусор" будет в любом случае, не зависимо от выбора фреймворка.
P.S. Возвращаясь к вопросу "архитектуры" - сначала пишут задачу, потом требования, а потом под эти требования подбирают решение, которое подходит под эти требования. Если Вы начнёте работать именно по такому принципу - вопросы подобные этому будут отпадать сами собой, раньше чем будут появляться.