Дж. ван Меггелен, Ярд Смит и Лейф Маадсен «Астериск - будущее телефонии».
В этой книге есть небольшая глава про SIP и RTP (так как оба протокола связаны друг с другом). Для начального понимания хватит, а если какие-либо вопросы не понятны, здесь уже статьи бывалых телефонистов помогут: как русскоязычные с Хабра, так и англоязычные.