-fno-tree-* (в общем, все, начинающиеся на tree и входящие в O1).
Дальше выделять бессмысленно, каждая из них делает что-то маленькое.
Но не включаем -fno-tree-copy-prop, оно выводит адову кучу ложных тревог.
UPD. В настоящее время лучше использовать линкер LLD, и точка. Проект разросся, а линковка длится «целых» ДВЕ секунды.