Для начала надо иметь "свой" дамп базы данных. Ок, предположим вы его имеете.
Теперь идете в папку, где у вас лежит docker-compose.yml , делаете там каталог например dump в него закидываете свой дамп базы.
дальше вы прописываете в описание контейнера mysql эту папку, монтируете ее примерно так:
volumes :
- ./dump/:/docker-entrypoint-initdb.d/
Теперь когда вы будете стартовать свой проект, то на взлете базы контейнер автоматически попытается залить в базу дамп который найдет в своей папке /docker-entrypoint-initdb.d/
Дальше wordpress просто обнаружит уже наполненную базу..