UserAd

Конечно, все зависит от сложности вашего сценария. Можно использовать sipcmd, baresip (автоматизируется через http), pjsip (это уже библиотека на базе которой можно создать свой клиент).

Asterisk и Freeswitch это PBX, если ваш сценарий достаточно прост, то можно обойтись и без них.

fail2ban или logwatch, но если у вас система смотрит в интернет, то вам просто почту завалит от попыток перебора.

Пока будете держать asterisk на стандартном порту вас будут сканировать и пытаться перебрать. Фрод в VoIP очень прибыльное дело. Попробуйте перевесить asterisk на другой порт, сменить ему User-Agent и включить alwaysauthreject.