Есть вариант начать новую ветку с проблемного коммита где появился большой файл, отредактировать, а потом сделать rebase существующей ветки относительно ветки с отредактированным коммитом.
Даты коммитов будут переписаны, полагаю, но в целом история изменений останется нетронутой. Возможно, придется проделать процедуру несколько раз.
Рекомендую сделать копию репозитория для преобразований, так как это весьма опасные вещи если вы раньше такого не делали.