Стоит изучить основы PBR (физически корректный рендер). Здесь неплохая подборка материалов:
noostyche.ru/blog/2016/08/22/osnovy_po_fizicheski_...
Без понимания принципов PBR ничего не выйдет совершенно.
Сейчас текстурирование делается сразу по модели посредством smart material, "набивание" текстуры методом композинга в том же Photoshop устарело и применяется всё реже.
Для текстурирования по модели применяются: Blender, 3D Coat, Substance Painter и Designer. Наиболее популярной является связка Substance Painter и Designer, программы можно довольно дёшево приобрести в Steam.