Asterisk совсем не требователен к ресурсам, его запускают на роутерах, NAS'ax, малинах и т.д. Нагрузка на CPU несколько возрастает, если соединяемые каналы используют разные кодеки или при кодировании/воспроизведении mp3. Но любой процессор 10-летней давности справится с этим без проблем.
Памяти должно хватить, если на машине будет работать только Asterisk. У меня на ~100 пользователей сейчас съедает ~3Gb оперативки.