Ну если вы хотите просто поиграться, то просто возводите ваше "сообщение", которое должно быть меньше чем модуль, в степень экспоненты по модулю и получаете зашифрованный текст. Только шифрование, в случае использования модуля до 2^32, будет хуже чем простая замена на int. И вы не сможете передать сообщения, которые располагаются от модуля до int.MaxInt.
Есть несколько библиотек в открытом доступе для работы с RSA на node.js. Например,
https://github.com/rzcoder/node-rsa