Совместить это можно, управляя всем процессом самому. Уверен, плагин модального окна умеет открываться что-называется programmatically, то есть посредством вызова через код. Собственно, вся ваша задача сводится к тому, чтобы навесить обработчик на отправку формы, и выполнить 1) отправку формы 2) открытие нужного модального окна.