Можно открывать не новую вкладку, а новое окно.
var win = window.open("http://mydomain.ru", "Pay", "width=200,height=200");
После этого вы можете манипулировать окном, а окно имеет доступ к создавшему его окну.
window.opener — должен содержать ссылку на родителя. Дальше в созданном окне должен браться за дело JavaScript. Если родитель еще открыт, то просто закрывать окно. Если уже закрыт, открывать родителя или перенаправлять к нему.
Но.
Same Origin Policy не даст вам манипулировать окнами на разных доменах и портах. Увы.