Если нужен массив таких же ссылок с нарастающими "pages", тогда вариант в цикле еще добавить все после знака ? еще раз сделав substring.
let TotalPages = 10, pages = [], i=0, href="https://site/ua-search/page-2?search=футболка";
while (++i <= TotalPages)
pages.push(href.substring(0,href.indexOf("page-")+5) + i + href.substring(href.indexOf("?")));
Или через replace
let TotalPages = 11, pages = [], i=0, href="https://site/ua-search/page-2?search=футболка";
while (++i <= TotalPages)
pages.push(href.replace(/\/page-\d+\?/, "/page-"+i+"?"));
P.S. Но так пагинацию не делают. URL не строят из текущей страницы и меняя в ней цифру, это велосипед в буквальном смысле.