listen *:80 убирать не за чем эта директива задаёт к каким сетевым интерфейсам биндится apache, и не имеет отношения к именам хостов.
Поможет добавление виртуального хоста "по умолчанию", который будет отдавать, например, 404, на все имена кроме тех, которые упомянуты в других конфигах, и в частности, с ip вместо имени.