Вобщем так, кому интересно:
На главном (мастере) в шеле удалил членов реплики, перезапустил монго (иначе при добавлении ругался, что такие машины уже добавленны).
Перезапустил монго на других машинах.
С главного добавлял по одному хосту и проверял уже с двух машин, потом добавил третью машину. Выставил приоритеты.
Как я понял весь косяк был в том что я добавлял сразу всех членов реплики, а когда сделал по одному и после каждого rs.reconfig все заработало.