NTP отказывается работать если разница больше 15 минут. Во время загрузки, непосредственно перед стартом ntpd, запускается ntpdate, который одноразово выставляет корректное время. Поэтому перезагрузка решает проблему.
Основная проблема заключается в том, что linux hardware clock на самом деле эмулируется vmware программно. При нагрузке ESXа он может сильно запаздывать и неточен всегда.
Другая проблема проявляется при миграции между ESXами с разными частотами процессора. Линух вдруг начинает слишком торопиться - визуально очень хорошо видно если запустить top.
Ну и еще, может быть вы не отключили в BIOS ESXа энергосбережение. Динамическая частота процессора может привести к такому-же эффекту.