Какие то ужасные советы выше перечислены, не советую вообще использовать стандартные методы jQuery для анимации.
В вашем случае анимация при убирании класса не срабатывает, ибо собственно она привязана к этому классу. Вам необходимо задать свойство transition для самого элемента .panel
.panel {
transition: transform 0.7s;
}
