Очевидно, либо передавать с сервера уже обработанное время (то есть текстом, например), либо с сервера передавать время открытия страницы, на клиенте при загрузке считать разницу между клиентом и сервером и при каждом выводе времени компенсировать эту разницу.
В moment можно даже
переопределить текущее время и просто сделать его равным времени сервера.