В настройках выставляем папку для хранения символов:
Tools -> Options -> Debugging -> Symbols
Добавляем в "Cash symbols in this directory" любую папку.
И после этого символы будут подгружаться только 1 раз в эту папку, а потом уже будут быстр оттуда браться.