Алгоритмы на эллиптических кривых, как показывает практика, имеют более высокую скорость работы. Также длина ключей в них значительно меньше (по рекомендациям — порядка 160 бит против 2048 у RSA).
В качестве библиотеки могу порекомендовать OpenSSL. Из плюсов — большой набор алгоритмов, библиотека написана на C (для встраиваемых систем — это большой плюс). Из минусов — к сожалению, нет явной реализации схемы ECIES (для обмена шифрованными сообщениями), но данная схема легко создается по описанию.