Когда на практике нужны итераторы (iter/next) в Python?

Question

[Bjornie]

Механика создания итератора и его использование мне понятно, однако не понятно как на практике мне может понадобиться итерация вручную с помощью next (или методом __next__). Я разработчик на Django, в основном. Как это мне может пригодиться? А в других задачах, не шибко сложных - где?

Comments

[Александр]

В вашем вопросе два вопроса:
1) Когда на практике нужны итераторы?
2) Когда на практике мне может понадобиться итерация вручную с помощью next() / __next__()?

Какой вопрос верный?

Answer 1

[Сергей Горностаев]

Если у вас есть код, который должен в цикле обойти QuerySet, в котором могут быть миллионы записей, то обычный

for item in some_qs.all():
    ...

может быть опасным, так как все данные разом будут загружены в память. Итератор же будет загружать данные из базы небольшими блоками, а объекты и вовсе будет возвращать по одному, не кэшируя их

for item in some_qs.iterator():
    ...

Answer 2

[Руслан .]

Как пример - ленивые операции, например получение данных их файла. Можно либо все за раз в память закачать (если память позволит), либо порционно через итератор получать данные.
Но как по мне, итераторы позволяют делать код меньше и лаконичнее. Например те же zip и map позволяют сложные конструкции умещать в небольшой код.

Answer 3

[Александр]

__next__() мне часто требуется, когда нужно взять первый элемент генератора. К примеру, список файлов и папок в директории

path, subdirs, files = os.walk('.').__next__()

Думаю, может возникнуть ситуация, когда при итерации при анализе текущего значения потребуется пропустить пропустить следующее значение (не текущее, а именно следующее). Тут __next__() и поможет.

Comments

[Александр]

Pavel Denisov, это какую?

[Алексей Сергеев]

next() ;)

[Александр]

Алексей Сергеев, я сначала подумал, что вы о python2, где next() было методом генератора. А про существование отдельной такой фукнции я, похоже, забыл. Конечно, правильнее будет использовать её.