Boost это набор библиотек. Их необязательно собирать все, можно только некоторые. Тогда сборка не такая уж и медленная.
У меня есть, в виде статической библиотеки под ARM7, вот это:
boost.thread
boost.signals
boost.regex
boost.datetime
Этого достаточно?