не изменяемую часть вынесите в отдельный реп и сделайте submodule (если оно все лежит в одной папке), и итоге когда вы будете клонировать реп о у вас там будет только ваш код, а но всегда есть возможность вытянуть и фреймворк
не очень красиво, можно ипортить все в гит и потом удалять лишние и муфить папку в корень. и так для всех подпапок.
в итоге в гите будет история всех папок — лишнее, но чет ничего больше в голову не приходит.