Напишу, если кто будет искать это решение:
Во первых проверяем, что по умолчанию включен wsl 2, во вторых, что компьютер поддерживает виртуализацию и она включена в биосе, далее в компонентах виндовс включаем Hyper и Контейнеры.
Также, я обратил внимание, что когда мне казалось, что Докер висит, я посмотрел, что в процессах идет нагрузка на WiFI, шло активное скачивание.
Тогда я оставил компьютер на полчаса в таком состоянии и в какой то момент Докер успешно стартанул. Я прихожу к выводу, что после первого запуска Докер для рабочего стола что-то усиленно докачивает в систему, но это не совсем очевидно выглядит. Потому не прерывайте первый запуск, если вам кажется, что все зависло.