В вашем случае, когда используется элемент , он по умолчанию отображается в так называемом top-layer, что приводит к тому, что другие элементы, такие как уведомления (toast), могут быть скрыты. Это связано с тем, что элементы в top-layer имеют более высокий z-index и перекрывают другие элементы на странице.
Наверное, возможные решения:
1. Перемещение toast внутрь dialog.
2. Использование Popover API.
3. Отказ от dialog.
4. Изменение z-index.
Это я вкратце накидал, если надо будет, могу более подробно расписать.

Проблема, с которой вы столкнулись, связана с тем, что новое окно fancybox открывается и сразу закрывается. Это может происходить по нескольким причинам:
1. Цикл закрытия: в вашем коде после открытия нового окна вы вызываете instance.close(), что может приводить к тому, что новое окно закрывается сразу после открытия. Убедитесь, что вы не вызываете закрытие окна в success до его полного открытия. Если уж не получится, то пункт 2.
2. Обработка событий: возможно, событие afterClose срабатывает не так, как вы ожидаете. Проверьте, не происходит ли что-то, что может вызывать закрытие окна сразу после его открытия.
Поэтому как вариант, предложу следующее:
- Попробуйте убрать вызов instance.close() из success и посмотрите, будет ли новое окно открываться корректно.
- Добавьте логирование в success, чтобы убедиться, что данные возвращаются корректно.
- Проверьте, нет ли других обработчиков событий, которые могут влиять на поведение fancybox.
Если проблема не решится, попробуйте предоставить больше информации о том, как именно вы открываете новое окно и какие данные возвращаются с сервера, ну или в личку напишите.