Пытаюсь реализовать движение окна, но при первом движении, окно спрыгивает немного вниз от курсора по горизонтали по вертикали, почему так происходит? При дальнейших движениях все нормально. JSFiddle
Потому что событие срабатывает на .config-panel__text, а не на .config-panel, а блок с текстом за счёт заголовка и паддингов как раз начинается ниже и правее, чем ваша панель. То есть clientX и clientY у эвента оказываются больше ожидаемых.