А в чем проблема-то? У вас какой-то общий вопрос, на который можно так же обще ответить.
Запускаете образ nginx'a, который по конфигу будет проксировать на ваши запущенные образы php с проектами.
UPD:
Взять образ
nginx, сделать конфиг(сделать прокси на 8080)
Взять образ
php, пробросить порты вместо 80 на нужный вам(8080:80)
Запустить nginx. Запустить контейнер с пхп. Новый проект с пхп прокидывайте новый свободный порт(8081:80), добавляйте в конфиг nginx'a новое проксирование, запускайте новый проект, перезапускайте nginx.
Или nginx вообще не выносить в образ и перегружать конфиг не теряя конекты.
