1. Копируете файлы базы данных на хост
2. Архивируете/Переносите
3. Поднимаете проект на другом хосте
4. Копируете файлы с хоста в контейнер
В вашем распоряжении есть
docker compose cp
https://docs.docker.com/engine/reference/commandli...
А вообще не вижу проблем с созданием полного дампа с последующим восстановлением.
docker-compose exec [service] mysqldump -u [user name] –p [password] [options] [database_name] [tablename] > [dumpfilename.sql]
Или
docker exec -t [hash container] mysqldump -u [user name] –p [password] [options] [database_name] [tablename] > [dumpfilename.sql]