Если речь о базе, то теоретически да - нужно удалить записи из таблицы django_migrations.
В постгрес-аддноне для хероку можно пистать запросы на чистом sql и с их помощью можно это провернуть.
Но проблемы могут возникнуть при попытке натянуть старые данные на новую схему.
docker build --tag thets:latest .
?