Как итерировать по биграммам?

Question

[Timebird]

Имеются биграммы из текста, полученные следующим кодом:

token = nltk.word_tokenize(train_words)
bigrams = ngrams(token, 2)
print(list(bigrams))

Вывод (сократил):

[('Вот', 'дом'), ('дом', 'Который'), ('Который', 'построил'), ('построил', 'Джек'), ('Джек', 'А'), ('А', 'это'), ('это', 'пшеница'), ('пшеница', 'Которая'), ('Которая', 'в'), ('в', 'тёмном'), ('тёмном', 'чулане'), ('чулане', 'хранится'), ('хранится', 'В'), ('В', 'доме'), ('доме', 'Который'), ('Который', 'построил'), ('построил', 'Джек'), ('Джек', 'А'), ('А', 'это'), ('это', 'весёлая'), ('весёлая', 'птица-синица'), ('птица-синица', 'Которая'), ('Которая', 'часто'), ('часто', 'ворует'), ('ворует', 'пшеницу'), ('пшеницу', 'Которая'), ('Которая', 'в'), ..., ]

Вопрос: необходимо, допустим, банально проитерировать -- сначала вывести первую биграмму в списке, а потом первое слово первой биграммы списка. Как это сделать?
Пробую банально:

for bigram in bigrams:
    print(bigram)

Но jupyter не выводит вообще ничего. В чём же дело?

Comments

[Lander]

К вопросу напрямую это не относится, но вы слышали про машину Маркова?

[javedimka]

Отвечая на вопрос как же "вывести первую биграмму в списке, а потом первое слово первой биграммы списка. Как это сделать?"
Раз уж выяснили почему цикл ничего не выводил, то так:

for bigram in bigrams:
    print(bigram, bigram[0], sep='\n')

Answer 1

[Алексей С.]

Не знаю почему, но вывод print(list(bigrams)) ломает выполнение for, если закомментить, то цикл нормально отработает, но можно ещё как то так:

lst= list(bigrams)
print(lst)
bigrams=iter(lst)

Comments

[javedimka]

Думаю потому что ngrams это функция которая возвращает генератор, а по генератору можно пройтись лишь раз что и делает вызов list(), поэтому дальнейший цикл ничего не делает

>>> def ngrams():
...     for i in [1,2,3]:
...         yield i
...         
>>> s = ngrams()
>>> list(s)
[1, 2, 3]
>>> for i in s:
...     print(i)
...     
>>> s = ngrams()
>>> for i in s:
...     print(i)
...     
1
2
3
>>> list(s)
[]

upd: да, если смотреть в сорцы то именно это она и делает.

Answer 2

[Andrey Dugin]

Выше уже ответили - потому что ngrams возвращает генератор, по которому можно пройтись в цикле только один раз. Можете сделать себе N независимых итераторов и экспериментировать)))

from itertools import tee
bgen1, bgen2, bgen3 = tee(ngrams(token, 2), 3)