Почему не обучается нейронная сеть?

До этого были рандомные значения и было то же самое. Сейчас изменил 0.5 на weights[i] = (float)rand.NextDouble() * 2 - 1; и получаю значения от -1 до 1, но после очередных 60к картинок выдаёт так же всюду почти (0.9... всюду с малым отличием) по 1.

Как сделать поиск для разных падежей и числа слова?

Например какой?