Я, конечно, далеко не знаток платформы, но вот что смог придумать:
-Все таки написать свой адаптер, используя свой класс с Map
-Сделать два списка. В одном строки, которые передаются адаптеру ListView, а во втором строки которые выбираются в getView адаптера