Пример из DirectShow. Видно, что audiorenderer следит за синхронизацией (если videorenderer не успевает отрисовывать, то звук продолжает идти с нормальной скоростью). Сами же отметки времени присутствуют в исходном потоке. Пока подозрение, что сдвиг произошёл в момент записи.