Коллеги спасибо за помощь, но ситуация решилась другим способом
Тоже по подсказке, до этого фиг догадаешься)
На сервере крутится proxmox, там в качестве виртуалки стоит ubuntu, а уже на ubuntu стоят docker контейнер с laravel.
Раньше на ubuntu в proxmox было выделено 2 сокета по 20 ядер, я исправил на 1 сокет, и всё заработало, запускается 10 воркеров и всё остальное не тормозит.
Как подобное сделать на WSL на винде я не знаю, но оно мне и не нужно, на тестовой машине мне и 3х воркеров предостаточно
JhaoDa, как я и писал, потребление 1-2% процессора, и оперативы ещё очень много пустой
всё находится в простое, просто запускаю 4ый воркер, и сайт перестаёт отвечать на внешние запросы