До момента, когда не умел писать сам - использовал плагин Fancybox.
Сейчас для всех нестандартных анимаций, в том числе и для модальных окон использую Greensock Animation Platform. Ооочень гибкая платформа для работы с анимациями. Вот пример простого модального окна:
jsfiddle.net/y6snnwua