Сталкивался с проблемой работы Asterisk в виртуальной машине на VMWare ESXi, те же симптомы. Звонки приходили на call-центр и сильно сильно тормозил и заикался звук при одновременных звонках > 30. Загрузка процессора и потребление памяти было в пределах допустимого.
Тогда нашел информацию, что на виртуальных машинах из-за конкурирования за процессорное время могут возникать задержки > 5мс на планировщике.
Проблему решили переносом сервера на физический сервер без виртуализации.
Надеюсь информация поможет.
