На самом деле никакие цифры не теряются, просто по умолчанию при выводе на экран печатаются 4 цифры после запятой. В самой переменной хранятся числа с той же точностью, с которой они туда и были записаны. Если вы хотите при выводе на экран видеть больше цифр после запятой, то используйте команду format long
www.mathworks.com/help/matlab/ref/format.html

Можете воспользоваться Matlab'ом (функция scatter3 www.mathworks.com/help/matlab/ref/scatter3.html ) или Maple'ом (функция ScatterPlot3D www.maplesoft.com/support/help/Maple/view.aspx?pat... ), но эти математические пакеты стоят денег и достаточно тяжеловесны. Как альтернативу можно посоветовать Octave ( www.gnu.org/software/octave/download.html ), использующий совместимый с MATLAB язык программирования, к тому же он бесплатен, что является большим плюсом (для построения графика используйте функцию scatter3 www.gnu.org/software/octave/doc/interpreter/Three_... ).
Еще можно использовать язык R для этих дел ( cran.r-project.org/web/packages/scatterplot3d/vign... ), тут тоже все бесплатно, но, по моему мнению, порог вхождения гораздо выше.