Попробуйте поставить
armbian — там уже давно из коробки есть возможность выбора раздельной установки и загрузчика и ОС на любой доступный диск. Это позволяет грузить ОС с любого диска на тех девайсах, на которых есть ограничения по загрузке. В теории он возможно даже и dietpi запустит, т.к. и там и там дебиан. Если он таки не запустит вашу dietpi, то смотрите его конфигурацию и как он запускает armbian. Вообще рекомендую armbain — отличная система.
SD карта у вас откинется очень и очень быстро. Как и любая обычная USB флешка. Да, можно тонко настроить систему для минимизации записи на диск отключением логов и всего прочего. Но проще просто использовать SSD.
Про гитлаб на такого рода МК рекомендую забыть — комфортно работать он будет на конфигурациях 8-12+ Гб ОЗУ. Используйте что-то более лекговесное: например
Gitea или вообще консольный
soft-serve. Если всё же очень хочется именно гитлаб — берите полноценный х86 мини-ПК с 16+ ГБ ОЗУ.