Вы можете использовать такую форму:
https://www.google.com/maps?saddr=адрес
Либо, если вам надо проложить маршрут:
https://www.google.com/maps?saddr=откуда&daddr=куда

На кнопку можно назначить listener в котором находим textview с номером с помощью родительского view:

new OnClickListener(){
      @Override
		  public void onClick(View v) {
			    View parent = (View) v.getParent();
			    TextView numberTextView = (TextView) parent.findViewById(R.id.phone_number);
			    String number = numberTextView .getText().toString(); 
      }
};