До каких пор использовать генераторы?

Question

[Roman K]

Привет.

Я сейчас нахожусь на той стадии любви к генераторам, что использую их сильно чаще, чем списки. Буквально везде одни yield и yield from

Списки использую только в том случае, если нужно проитерироваться по последовательности один раз, а потом ещё раз. Или если нужно отправить список по API и сделать из него JSON. То есть, даже если итерация около-параллельная, например, с отставанием в пару элементов, я использую itertools.tee

Я знаю, что генераторы медленней списков (хотя, адекватных бэнчей я не смог придумать, потому что генераторы ленивые и как протестировать именно время, затрачиваемое на yield — непонятно). Хотя, создание списка append'ами плюс его обработка обычно дольше:



Я знаю, что почти все списки, которые я бы создал вместо генераторов со свистом влезли бы в память, но я не могу остановиться экономить эту память.

Подскажите советом, когда адекватно использовать генераторы, а когда — глупо?

Answer 1

[longclaps]

Эк тебя, брат, крючит ))) Можно подумать, что единственое назначение списков - итерироваться по ним )
Но мы-то знаем, что всё как раз наоборот: именно генераторы, чтобы итерироваться, а списки - для произвольного доступа (ну и чтоб итерироваться).
Генераторы не только лишь экономят память, но и расходуют её - на кадр персистентного стека, хотя бы. Так что на мелких списках экономить смысла нет.
И напротив - генераторы могут выигрывать в скорости там, где тяжелое вычисление значений, а итерация может оборваться, не долистав список/генератор до конца.

Comments

[Roman K]

Да, точно, про произвольный доступ я и забыл упомянуть. Хотя, в реальности он мне редко нужен)

Генераторы не только лишь экономят память, но и расходуют её - на кадр персистентного стека, хотя бы

Да, тут полностью согласен, что состояние генератора хранить дороже, чем пару элементов списка. Но когда этот порог памяти переваливает в пользу генераторов? (в среднем, конечно). 100 элементов? 500 элементов?

[longclaps]

Roman Kitaev, ну, если элементы - это просто id'ы, то на 1 элемент списка уходит 8 байт (на 64x), на элемент словаря - 24 (кадр стека - словарь). Ну и инициализируется список за 40байт, словарь - 248 (отсюда). Так что для 100 элементов - список.

[Roman K]

longclaps, Большое спасибо)

Answer 2

[mark okolov]

https://stackoverflow.com/questions/47789/generato... тут расписано

Comments

[Roman K]

Это я читал, гуглить умею. Интересно услышать опыт здешних опытных господ

[Roman K]

И да, там говорится "если не влезает в память" и "если скорость важна". Я вот не доказал сам себе, что списки реально быстрее.