Александр Семененко

Оказывается нужно было зайти в lxc не просто lxc-attach, а с параметром --clear-env
lxc-attach --clear-env -n mycontainer

После этого apache2 установился корректно и запускается.

Вот ссылка, которая помогла решить проблему

Как сказал предыдущий участник, нужно установить php - скорее всего это и есть ответ.

Также проверьте для apache2 файл: /etc/apache2/mods-available/dir.conf (если это ubuntu) в нем указаны, какие файлы использовать как индексные, но обычно index.php уже прописан. Если хотите, чтобы index.php был предпочтительныее index.html, то поменяйте их местами в этом файле.