Python. Сколько элементов можно положить в список?

Question

[ldmitriy]

в х32 и х64. И какой максимальное число может быть?

Answer 1

[Roman K]

От размера ОЗУ зависит. И если у тебя появился такой вопрос, скорее всего, тебе лучше юзать numpy.array вместо питоновых списков. Или хотя бы array.array

Answer 2

[Максим]

Может иметь очень и очень много элементов. Максимально возможное значение ограничивается значением из sys.maxsize
Для 32 битных систем - 2,147,483,647
Для 64 битных систем - 9,223,372,036,854,775,807

Но всё так или иначе упрётся в ресурсы вашего компьютера) А именно в память.

Comments

[ldmitriy]

Почему я не могу создать список из 2,147,483,647 элементов?

[Иван Мельников]

ldmitriy, оперативной памяти не хватает?

[ldmitriy]

Иван Мельников, 6gb ram

[Максим]

ldmitriy, смотрите, я для эксперимента заполнил список из 500млн записей



у меня на это ушло где-то ~3гб оперативки. Плюс у меня каждый элемент списка - это строка из 5 символов. У вас же это может быть абсолютно рандомный список из элементов разной длины. Поэтому может и не хватать оперативки, конечно

[Иван Мельников]

ldmitriy,
Допустим у вас 32-битная ОС.
Список, в отличие от массива, устроен таким образом, что в самом списке хранятся только адреса (из 32-битного адресного пространства) расположения самих данных. При этом, хранить в памяти нужно и адреса (элементы списка), и сами данные.
Так вот, при создании списка, например, с 2,147,483,647 элементами только для хранения элементов списка (адресов) потребуется не менее 2,147,483,647 x 32 = 68,719,476,736 бит памяти, или 8,589,934,592 байт = 8 ГБ.
А ведь ещё нужно хранить сами данные. И не нужно забывать, что запущенный софт на машине тоже требует для своей работы память.

[ldmitriy]

Максим, это очень интересно. Попробовал Ваш пример и у меня вылетела memory error.
А как определили что ушло ~3гб оперативки? Через диспетчер?

[Иван Мельников]

Максим, 500_000_000 x 4 байт = 2 ГБ. Что-то похоже. Получается, у вас 32-битная ОС или интерпретатор?

[Максим]

ldmitriy, да, через мониторинг системы. Просто открыл и наблюдал)
Иван Мельников, нее, я просто ограничил. Первый раз запустил без ограничений, у меня съелось 18гб памяти)) и я прервал этот процесс, даже не смотрел, сколько туда влезло элементов.

Answer 3

[Иван Мельников]

Кол-во элементов списка ограничивается только доступным объемом ОЗУ.
Допустим у вас 32-битная ОС.
Список, в отличие от массива, устроен таким образом, что в самом списке хранятся только адреса (из 32-битного адресного пространства) расположения самих данных. При этом, хранить в памяти нужно и адреса (элементы списка), и сами данные.
Так вот, при создании списка, например, с 2,147,483,647 элементами только для хранения элементов списка (адресов) потребуется не менее 2,147,483,647 x 32 = 68,719,476,736 бит памяти, или 8,589,934,592 байт = 8 ГБ.
А ведь ещё нужно хранить сами данные. И не нужно забывать, что запущенный софт на машине тоже требует для своей работы память.
ps. Массивы гораздо эффективнее используют память, но есть ограничение – все элементы массива имеют единый заранее определенный тип.

Comments

[ldmitriy]

500_000_000 адресов будут занимать 1.86Gb RAM в 32битной ОС.
К этой же цифре нужно еще прибавить объем каждого значения(тип же имеет значение)?

[Иван Мельников]

ldmitriy,

К этой же цифре нужно еще прибавить объем каждого значения(тип же имеет значение)

Да, но есть одна особенность интерпретатора Python. Если вы создаете список, который во всех своих элементах содержит одинаковое значение, например, строку 'aaaaa', то в память помещается это значение, а все элементы списка хранят одинаковый адрес – адрес этой строки. Это позволяет экономить память. Если потом вы какому-то элементу списка присваиваете новое значение, то в память помещается это новое значение и в данный элемент списка записывается новый адрес.

[ldmitriy]

Иван Мельников, а еще такой вопрос: в 32 битной ОС на каждый адрес уходит 4 байта, а в 64 битной в 8 байт, тогда какой профит если в 64 битной одна и та же программа будет занимать больше памяти?

[Иван Мельников]

ldmitriy, профит в том, что вы можете иметь объем ОЗУ больше, чем 4,3 ГБ (2^32 Байт).

[ldmitriy]

Иван Мельников,
Почему при добавлении разных элементов в список его размер не увеличивается?