Скорей всего событие подвешено на элемент, который в момент загрузки скрипта был display:none и естественно события на него не подвесилось. Используйте делегирование.
я понял кажется в чем проблема, только все равно как-то странно. Если вот этот инлайн элемент который открывается в попапе имеет высоту больше экрана, то он не свайпается. Фигня :/