1. Используйте clang.
2. Используйте PCH.
3. Если у вас используется много шаблонов, то компилируйте в release (компиляция в debug медленнее чем в release из-за большого I/O для огромных размеров отладочной информации для всех инстанцированных шаблонов)
4. SSD ускоряет компиляцию. Но ещё больше ускоряет компиляцию *много* RAM (минимум 1Gb на ядро для собственно компилятора, а остальное уходит на дисковый кеш).
5. Если вас интересует ускорение инкрементальной сборки — посмотрите на CMake + ninja. Это намного ускоряет инкрементальную компиляцию (если изменились пара .cpp файлов).