после начала активности, нормальное поведение сервера БД не отдавать память сразу, а ожидать дальнейшей нагрузки. если ее нет, память отдается через какой то интервал времени
более детально о стратегии конкретной СУБД и возможностях настройки - в документацию данной СУБД
При чём тут mysqldump? Потому что первым по счёту в команде идёт? Здесь самое ресурсоёмкое приложение gzip. Есть утилиты мониторинга (top, htop, их целый легион), которые покажут какой именно процесс потребляет память.