В данном случае очень советую поискать по термину «аппроксимация». В частности, из найденного относительно интересного:
аппроксимация сферы с описанием действий,
пример аппроксимации сетки треугольников,
диссертация на тему построения геометрических моделей по итогам анализа деталей сложной формы. Думаю, тема освещена относительно неплохо для того, чтобы найти подходящую реализацию или модель. Методы аппроксимации применяются в 3D-редакторах и САПР. Алгоритмы, позволяющие оптимизировать сетку объекта, обычно документированы и описаны в свободных источниках. Учитывая то, что в основе своей разработки зарубежные, могу посоветовать поискать по терминам «approximation», «mesh optimization», «polygon optimization».