Может потому, что браузер прокручивает документ (читай "рассчитывает координату") раньше, чем рендерится нужный (подключенный) шрифт? А когда шрифт отрисовался, браузер уже всё давно сделал.
Попробуйте добавить формат для якоря, чтобы браузер не находил его в коде документа, а по событию загрузки документа и может быть небольшого таймаута, прокручивать документ до нужных координат через JS самому.