помогло это, обращаться к нему через parent. По клику вызывать OnResize();
function OnResize() {
parent.$('.fancybox-inner').css('height', 'auto');
parent.$('.fancybox-outer').css('height', 'auto');
parent.$('.fancybox-wrap').css('height', 'auto');
parent.$('.fancybox-skin').css('height', 'auto');
//parent.$('.fancybox-iframe').css('height', 'auto');
var DivH = $('#order').height() + parseInt($('#order').css('padding-top'))*2;
wrTop = (parent.$('.fancybox-overlay').height()-DivH)/2;
if(wrTop < 0){
wrTop = 0;
DivH = parent.$('.fancybox-overlay').height();
}
parent.$('.fancybox-iframe').css('height', DivH);
parent.$('.fancybox-inner').css({'height': DivH});
parent.$('.fancybox-wrap').css({'top': wrTop});
}