У ESXi ISO-шник с локальной машины монтируется из открытой консоли виртуалки, а не из её настроек. Из настроек можно только с датастора смонтировать, или хостовый DVD-привод.
Причём обратите внимание, что если вы машину перезагрузите, диск отмонтируется :-) Поэтому я захожу в BIOS сначала, монтирую привод, и только потом выхожу из BIOS, и запускается загрузка с ISO-шника.