Точнее: можно ли его удалить, не ухудшив качества сервера (VPS)
На vps часики подстраиваются, зачастую, на стороне гипервизора и прокидываются на vps, тут обычно не нужен ntp. Это можно проконтролировать запуском того же ntpdate.
Для сервера, часто, хватает периодического запуска ntpdate, если нет приложений критичных к высокой точности времени.