Y
у вас из множества R^W*H*2
. Т.е. Y состоит из W*H*2
чисел проиндексированных тремя индексами - первый до w
, второй до h
, третий до 2. Соответственно в формуле считается сумма по всем значениям первых двух индексов. Y_wh
- это пара чисел. У вас множества в примере неправильно составлены - там вместо a и b должны быть пары чисел.||...||_2
.