Поразбирался в итоге с проблемой. Вот такое решение для себя нашел:
https://verstaem.com/devops/docker-php-development/
Оптимальный вариант использования на windows описан в разделе
"Доступ к контейнерам через nginx reverse proxy"
Спасибо
shaqster. Вы правильное направление пытались показать, но все же не до конца получилось разобраться в вопросе, либо я вас не понял. В любом случае ваши ответы сильно помогли в поиске наилучшего решения.