Первый вопрос - зачем это нужно и почему не хватает https?
RSA это алгоритм ассиметричного шифрования,
AES - симметричного. Обычно симметричный ключ передают при помощи ассиметричного и данные шифруют симметричным. Отсюда и берется ваша связка RSA+AES. И тут сразу возникает следующий вопрос - а как вы планируете на стороне приложения хранить приватный ключ?
Нет, придумывать свою шифрованию нельзя, никогда. Даже не думайте об этом. Нельзя самому даже реализовывать известные алгоритмы для использования в продакшне, всегда нужно использовать готовые библиотеки для этого.