Телефония - тема весьма обширная. Советую не тратить время на всякие астериски с фрипбксами, а начинать сразу с нормальной платформы - freeswitch.org
Да, с GUI там туго, но оно и не надо, а "незамыленный" мозг воспримет XML-конфиги очень легко. FreeSWITCH легче, быстрее и проще в освоении, если цель - не научиться тыкать в кнопочки красивых панелек, а хотя бы начать понимать саму суть процессов VoIP. Начинайте с него, потом - kamailio. Ну а потом сами поймете, куда двигаться дальше.
Гольдштейна уже посоветовали, его книги весьма хороши, но... местами излишне фундаментальны. А вот про H.323 даже не надо начинать читать - мертвый протокол.