С одного компьютера если подключаться - то да, исчерпаются локальные сокеты.
Если с разных - то разницы особой нет - каждое соединение-же будет с адреса 1.2.3.4:5678, а этих адресов практически бесконечно будет.
Скорее исчерпаются ресурсы системы. К примеру
вот обсуждение об увеличении количества TCP-соединений в семерке.