Используёте ArrayAdapter и забудете о проблемах. Иначе никак. Заодно и кастомизируете вид списка под свои нужды.
http://habrahabr.ru/post/133575/
Кастомная разметка для listview item с указанием размеров шрифта там - лучший вариант. Все динамические изменения внешнего вида реализуйте в методе getView вашего ArrayAdapter.
Скакать ничего не будет!
