1) возьмите хороший сервер, который быстро отдает результаты и находится близко к географии целевой аудитории.
2) перед тем как отправлять AJAX запрос зафиксируйте текущее клиентское время.
3) отправьте запрос, желательно без хлама. Минимум данных на входе и минимум на выходе. Уложится хорошо бы в 1460 байт на все. keep-alive включен. GZIP выключен.
4) фиксируйте текущее клиентское время.
5) Время_сервера - (разница_между_клиентскими/2).
Погрешность будет меньше, но останется. Как минимум отрисовка на странице времени тоже занимает время)