bind - это стандартная (эталонная) реализация протоколов DNS все что есть в стандарте реализовано в bind он же и самый старый проект. Имеет длинную и богатую историю дырок в безопасности.
unbound - это реализация только части функционала DNS сервера а именно кеширующего сервера. unbound умеет только пересылать запросы дальше по цепочке и кешировать их. Отвечать за свой собственный домен к примеру он не умеет. Проект современный и создавался для работы под большими нагрузками и с учетом современного подхода к безопасности
dnsmasq - это тоже кеширующий dns сервер, он предназначен для работы во встроенных системах с ограниченными ресурсами (домашние роутеры) и десктопах, по этому он так же умеет сохранять кеш запросов между перезагрузками, имеет встроенный dhcp сервер, позволяет делать "заглушки" для доменов, работать через socks прокси и прочие полезные для таких систем функции.