Для "исходной точки кода" ведь существует какой-то ориентир в DOM. Для возврата элемента на место напишите снова appendTo с соответствующим селектором. Для простоты можете в точке возврата создать пустой элемент в качестве маркера с каким-то уникальным id, и аппендить назад к нему.
Дело в том, что этот элемент находится в разных местах. И его можно добавлять в разные места. И надо чтобы jquery динамично возвращал именно тот элемент, который был совершен при клике.