Оперировать с идентификаторами соединений.
Так, например, пользователь А подключается к серверу, сервер его идентифицирует именно как пользователя А и хранит идентификатор его соединения. То же самое происходит и с клиентом Б.
Когда клиент Б отправляет сообщение, предназначенное клиенту А - сервер направляет это сообщение не в широковещательный канал, а в конкретный коннект.