В общем проторчав почти весь день на зарубежных форумах и по разному составляя этот вопрос, я в итоге наткнулся на необходимый мне ответ, пока только тупо скопировал код и проверил что он выдает нужный результат при полной нагрузке за секунду, но сейчас буду сидеть изучать как оно работает на самом деле (Отсылка к Конору)
Оставляю ссылку с ответом, надеюсь кому-нибудь и когда-нибудь это поможет и он не потратит почти сутки в поисках и попытках разобраться в нерабочих способах.
schemingdeveloper.com/2017/03/26/better-method-rec...
Уточню для новичков, которые полезут в такую муть вместо изучения основ (как я поступал лет шесть назад), этот код нужно просто скопировать в пустой скрипт C# с названием NormalSolver.cs, а в функции Mesh.RecalculateNormals() нужно указать угол при котором сглаживание будет срабатывать, в моем случае, чтобы вершина пирамиды сглаживалась нужно 90 градусов, то есть Mesh.RecalculateNormals(90);