Конечно потеряете в производительности. Java не шибко производительна в числодробилках, чем и является обработка изображений.
Нативный код в этом плане выигрывает из-за возможностей использовать векторные инструкции.
Но раз вы вообще задаете такой вопрос, то я бы советовал вам писать все на чистой джаве для начала. Получите легкую сборку и удобную отладку.
Об оптимизациях будете думать после.
Ну бибилиотек туева хуча. Поищите на гитхабе.