Вот в этой статье
https://www.digitalocean.com/community/tutorials/h... написано как настроить парольную защиту у обычного apache
Теперь это знание надо натянуть на докер. то есть надо сделать файл с паролями. в конфиг апача добавить несколько директив, в docker-compose.yml дописать пару строк монтирования файла с паролями в контейнер и рестартануть контейнер апача с новыми настройками. профит!