Использовать Jenkins или другой CI вместо Xcode bots.
Кстати, п. 2 у вас не совсем верный, CocoaPods кэширует библиотеки локально (см. ~/Library/Caches/CocoaPods), так что не так уж много будет выгружаться при каждом pod install.
Да и п. 1 спорен, я раньше тоже был резко против добавления Pods/* в репозиторий, однако у такого подхода есть свои преимущества: можно легко откатиться и собрать нужную версию в первозданном виде, легко прыгать между бранчами при активной разработке, при этом не завися от наличия сети и доступности Github'а.