Вам нужны две книги:
1. Учебник матана
2. Задачник с решениями.
В первой сформулированы фундаментальные знания, со второй Вы сможете пропустить эти знания через себя. Можно ещё порекомендовать видеозаписи реальных академических лекций в подкрепление, потому что препод на то и препод, чтобы не просто зачитывать текст учебника, но ещё и доходчиво объяснять.
Та штука на скриншоте это знак суммы. Имеется в виду, что на выходе этой функции будет сумма t(j)-1 при j от 2 до n. Например, если есть массив чисел t размером 5 [6,7,8,9,10], а первый элмент имеет номер 1, то это будет сумма для элементов, у которых j изменяется от 2 до 5, то есть ((t2)-1) + (t(3)-1)+ (t(4)-1)+(t(5)-1). При этом t(2) = 5, t(3) = 8 и т.д. Домашнее задание - посчитать сумму))
Что за коэффициент вначале - хз.
