Коллеги спасибо за помощь, но ситуация решилась другим способом
Тоже по подсказке, до этого фиг догадаешься)
На сервере крутится proxmox, там в качестве виртуалки стоит ubuntu, а уже на ubuntu стоят docker контейнер с laravel.
Раньше на ubuntu в proxmox было выделено 2 сокета по 20 ядер, я исправил на 1 сокет, и всё заработало, запускается 10 воркеров и всё остальное не тормозит.
Как подобное сделать на WSL на винде я не знаю, но оно мне и не нужно, на тестовой машине мне и 3х воркеров предостаточно