Почему tf.nn.sparse_softmax_cross_entropy_with_logits() возвращает nan?

Question

[Dplll]

inp, tar = sess.run(el)
print(tar[:1])

Вывод:

[[912   0  53 145   0 155  45  50  15  48 924 225 912   0 235   0   0   0
    0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
    0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
    0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0
    0   0   0   0   0   0   0   0   0   0]]

dec_outputs = decoder(y, context_vector, hidden, batch_sz)[:1]

Вывод:

[[[-0.05515359  0.02397671 -0.0614723  ...  0.0092684  -0.0021817
   -0.03101936]
  [-0.07199661  0.03070245 -0.0926991  ...  0.00494846  0.00342776
   -0.05146109]
  [-0.05900393  0.03615921 -0.09878509 ... -0.01421204  0.01624698
   -0.06125399]
  ...
  [ 0.34236148 -0.1391055   0.19652194 ... -0.45829755  0.00265628
    0.03526935]
  [ 0.34237123 -0.1391213   0.19651419 ... -0.45829237  0.00266851
    0.03526982]
  [ 0.3423798  -0.13913548  0.19650745 ... -0.45828766  0.00267947
    0.03526917]]]

То есть всё ок
Но когда передаю всё в

loss = tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(labels= y, logits= dec_outputs)) 
loss_ = sess.run(loss, feed_dict= {x: inp, y: tar})

Вывод: nan

tar.shape: (6, 82)
dec_outputs.shape: (6, 82, 512)

Answer 1

[ivodopyanov]

Скорее всего, проблема не в архитектуре сети, а в данных. Например, такая ошибка может возникать, если один из сэмплов оказался нулевой длины. При этом там и градиенты будут NaN, и веса, через которые они проходят, тоже обращаются в NaN.

Нули в первом примере вывода выглядят подозрительно. Обычно 0 - это просто бланк, чтобы длину последовательности до нужного размера добить, а OOV-слова и конец фразы помечаются отдельными кодами\символами.

Comments

[Dplll]

При предпроцессинге я добавляю токен . Так что абсолютно нулевых массивов нет.

[Dplll]

Dplll, сама функция потерь возвращает, что то по типу:

[      nan 6.148656  6.325507  6.2751513 6.145506  6.206034  6.3281584
        nan       nan 6.2124543 6.2547827 6.3316483       nan 6.2865667
  6.2434545       nan 6.2482343 6.3383336       nan 6.279929  6.2256813
  6.263851  6.2158675 6.171275  6.208105        nan 6.2711434       nan
        nan 6.231869  6.221923  6.2288785 6.222396  6.215615  6.209381
  6.20399   6.19945   6.1956425 6.1924105 6.189597  6.1870694 6.184724
  6.182485  6.180304  6.178151  6.1760144 6.1738915 6.1717906 6.169723
  6.1677036 6.165748  6.163871  6.162086  6.1604037 6.1588326 6.157379
  6.1560464 6.154835  6.1537437 6.1527696 6.1519074 6.1511507 6.1504927
  6.149926  6.1494427 6.149035  6.1486945 6.1484137 6.1481857 6.1480036
  6.14786   6.1477504 6.14767   6.147612  6.1475744 6.147553  6.147544
  6.147545  6.1475544 6.1475706 6.14759   6.1476135]]

Резонно ли nan приравнять к нулю или 1 или убрать их перед reduce_mean

[ivodopyanov]

Dplll, лучше подебажить код и разобраться, откуда в этих позициях nan возникает. Для этого можно повставлять в код куда надо tf.Print