В цифрах в конце поста я не смог разобраться, где там матрицу вы пытались написать, где чо. Скажу однако, что собственные значения оператора Y не +1 и -1, а +i и -i. В этом легко убедиться подставив указанные у вас собственные векторы (они-то указаны правильно).
Для состояния, указанного в (2), значение наблюдаемой М = 0.