Как организовать приватные диалоге в «чате» на java?

Приветствую всех, решил для практики написать мессенджер на java, так как опыта пока мало, начал с простого базового чата. Написание чата не заняло более получаса, но вот сразу после этого захотелось сделать главное: как создать приватные диалоги между двумя пользователями? На данный момент все сообщения просто скидываются на сервер и рассылаются всем клиентам. Нет практически никаких жизнеспособных идей, можете помочь в идейном плане? В каком направлении стоит думать, может, стоит выбрать совсем другую архитектуру клиеет-сервера, а не лепить из грязи снеговика(читать - из чата мессенджер)? Буду рад любым советам и помощи