При наличии домена Windows, используется обычный DNS, имена разрешаются в дефолтном домене. В рабочих группах Windows используется протокол
NBNR (NetBIOS name resolution), имена могут разрешаться броадкастным запросом или через WINS сервер. В сетях Apple (а так же на Windows при установке соответствующего компонента от Apple) используется протокол
Bonjour. Для Linux сетей чаще всего используется протокол LDNS или обычный DNS с дефолтным доменом, как в доменных сетях Windows.