Логично что двухмерный график не умеет рисовать трехмерные векторы. Берите и сами делайте проекцию и ее загоняйте в qtcustomplot.
Вам нужны проекции ващего вектора на единичные векторы oX (1, 0, 0) и oY (1, 0, 0); затем складываете проекции на oX и oY - это и будет проекция вектора на плоскость "графика". (ну разве что вам придется из вектора выкинуть координаты по оси Z, она так и так должна получится равно нулю)
Гуглите как строить проекцию вектора на вектор.
p.s.
Ну и разумеется плоскость из моего примера выше одна из бесчисленного множества. Вы можете использовтаь любые базисы, если это нужно.