Так как вы используете готовый плагин, то тут тяжелее. Я для таких случаев пишу свой Draggable-модуль.
Что по поводу вашей проблемы, то смею предположить, что jQuery запоминает offset при старте drag'а и использует ее при каждом onMove курсора мышки. Попробуйте использовать ваши наработки в onDrag.