Настройки текстур можно менять только в редакторе с помощью
TextureImporter. Вызываете
AssetImporter.GetAtPath на нужном файле и получаете импортёр, потом меняете
maxTextureSize и сохраняете с помощью
AssetImporter.SaveAndReimport.
Terrain был написан очень давно и с тех пор не обновлялся, поэтому редактировать его из скрипта довольно накладно. Если в публичном API ничего не нашли, то, скорее всего, это делается только через рефлексию и костыли. Можете почитать
исходники на гитхабе, может быть найдёте что-то подходящее.
UPD: Нашёл нечто похожее, что может подойти. Достаёте
Terrain.terrainData, в нём есть
splatPrototypes, по всей видимости, это кисти. Думаю, если покрутить
SplatPrototype.tileSize, то можно получить нужный результат.