Смотря какой у вас код. По большому счету оверхед может быть за счет работы с массивом разве только, ну или со самой bitmap.
В чистой математике прироста скорости существенного вы не получите без изменения алгоритма.
Плюс еще не забывайте вам нужно даныне будет передвать в jni слой — это тоже время.
Что у вас занимает в расчетах наибольшее время? Какая функция является bootle neck — приведите ее, тогда можно будет оценить будет ли выигрыш.