Записывай id на этапе получения из источника. Например мапь в data-классы. Cursor в конкретный момент всегда смотрит на одну конкретную строку, поэтому ты и получаешь не те айдишники элементов, по которым кликал, а айдишник с текущей позиции курсора.
