Как таковых инклюдов нету. По факту можно передать один скомпилированный шаблон в другой в параметрах и вызвать его в нужном месте, типа такого:
jsbin.com/taxasoqiqe/edit?js,output
> Или как брать шаблоны с разных html файлов?
Никак, underscore ничего не знает про файлы и работу с ними. Подсовывать куски текста в функцию _.template вам придется самому. Есть три варианта это сделать.
1) Загружать с сервера AJAX'ом. Во многом это проще, но появляется асинхронность.
2) Класть шаблоны в страницу с вашим приложением, завернутые в тэги
<script type="text/template"></script>
.
3) Компилировать на сервере шаблоны в JS, подключать этот JS на странице с приложением. Минус в том, что для корректной работы приложение требуется этап пересборки.
Если вам нужен мощный шаблонизатор, посмотрите в сторону Jade. Но с ним катит только третий вариант.