Это называется ephemeral ports. Вся сеть общается по портам, поэтому когда устанавливается соединение клиент говорит куда ему отвечать. В данном случае, если у тебя сервер то это данные клиента и переживать не стоит. Но вообще да, этих портов ограниченное число