NeonGC

Тут дело в файловой системе.
wsl, на котором запущен docker, обращается к файловой системе windows, как к сетевому ресурсу. Перенеси проект в файловую систему wsl ( \\wsl.localhost\... ) и скорость вернётся.