Можно проверять так:
curl http://localhost:8000/radio.mp3 | head -c 300 | file - | grep MPEG
Если действительно прилетает MPEG Layer III поток, то греп выйдет с нулевым кодом завершения. Дальше шелл вам в руки.
По поводу vlc. Можно запускать его без графического интерфейса. И сделать для запуска systemd unit отдав управление запуском/перезапуском в случае падения systemd на откуп. Ну а мониторить заббиксом уже активность systemd юнита.