Так и не понял, зачем вам реверс-прокси для mysql.
Производительность NGINX достаточно высока...- я имею ввиду не NGINX-сервер как таковой, а Nginx-proxy, который перенаправляет запрос на контейнер с NGINX конкретного сайта. Если у вас был опыт использования Nginx-Proxy, было бы интересно узнать заметили ли вы задержку при его использовании в продакшене.
В http протоколе есть заголовок, позволяющий определить, к какому сайту делается запрос.
Зачем вам запускать множество серверов БД? Запустите один сервер, в нем просто множество БД...
Перед сном тоже об это подумал. Да, можно сделать с помощью Докера один LEMP. Но зачем? С тем же успехом можно и на хост-машину в единичном экземпляре нужные пакеты поставить.