Пробовали подключаться телнетом на заданный порт (1433)? Я этот метод использую для точечной проверки наличия доступа.
У меня обычно процедура такая — включаю на сервере доступ по TCP-IP, задаю порт 1433, открываю его на firewall. После этого простая универсальная проверка, не требующая дополнительного ПО — это telnet <адрес> 1433, потом Excel.
SSMS обычно не использую, потому что его нужно ставить дополнительно (а на машине пользователей не очень хочется, чтобы не забыть удалить и не давать слишком много инструментов).
Что ещё (кроме telnet) я бы посоветовал проверить:
1. Есть ли в firewall инструменты проверки, "что пошло не так". Например, VipNet такое умеет.
2. На клиентской машине запустить CliConfg.exe и посмотреть, может, какие-то настройки на машине откуда-то взялись. Например, настроен алиас, который в явном виде использует named pipes.
3. Можно выключить firewall, открыть подключение и посмотреть в netstat, как именно клиент подключился.
4. Сделать пинг по имени и убедиться, что используется IPv4
5. Попробовать подключение по IP вместо имени.
6. Включить на сервере SQL Browser и открыть соответствующий порт. Иногда помогает :)