Сделал так: по нажатию на кнопку B в нее перемещаю кнопку А через B.append( A.detach() ), A делаю display: none и сразу же активирую дропдаун А через А.dropdown('toggle'). Таким образом дропдаун открывается как-бы под B. А на месте кнопки А в этот момент лежит ее внешняя копия, по нажатию на которую А вернется на место.