1. Либо пользователи обмениваются между собой паролем заранее, не пользуясь вашим сайтом.
2. Либо они пользуются ассиметричными ключами, которые также должны сгенерировать за пределами вашего сайта.
Ну а дальше - стандартные вещи. Можете почитать
https://ru.wikipedia.org/wiki/PGP