За счёт чего NumPy массивы эфективнее питоновских списков?

Question

[Эрнэст Фарукшин]

Везде написано что NumPy массивы более быстрые и эффективные чем списки. Почему это так, у них какая-то более оптимальная реализация или же так пишу, из-за того что массивы имеют множество полезных и удобных функций, которые эффективно написаны?

Answer 1

[dmshar]

Массивы в Numpy реализованы почти так-же как и в С++ . Главное отличие - это всегда непрерывный в оперативной памяти участок однотипных данных. За счет этих двух фундаментальных свойств и соответственно - отсутствия соответствующих проверок и преобразований, операции над элементами массивов Numpy выполняются ощутимо быстрее, чем над списками, особенно при больших объемах хранимой информации. Недостатком массивов в Numpy есть неэффективное использования оперативной памяти в случаях, если реальных элементов массиве меньше, чем задекларированный размер массива.
Списки реализованы в виде несколько модифицированной ссылочной структуры С++. Точнее - память там выделяется блоками, доступ не прямо к элементу, а через систему ссылок и пр. Кроме того, списки это разнотипные элементы, более того - это возможно еще и списки списков или списки других составных типов данных. В общем, что-бы выполнить простую операцию, интерпретатору необходимо выполнить достаточно много проверок и переходов.
В последних версиях реализация списков сильно оптимизирована. Тем не менее, операции с его элементами остаются более медленными, чем над элементами массивов Numpy.
Наличие "множества полезных и удобных функций" - это уже производное от базовых отличий.

Comments

[Эрнэст Фарукшин]

Получается NumPy массивы построены на основе структуре данных массив(не очень звучит, но надеюсь вы поняли), и питоновские списки основанны на структуре данных связный список, да?

[dmshar]

Эрнэст Фарукшин, Примерно так.

[Сергей Горностаев]

Собственно это и есть массивы С. NumPy - это Сишное расширение.

[longclaps]

В последних версиях реализация списков сильно оптимизирована.

На вякий случай глянул в чендж-логи, и ничего такого там на нашел. Что ж, бывает.
Много воды и фантазий, dmshar.
Сам по себе список чертовски быстр, и всегда был быстрым. Его ссылочная природа не роляет на скорость доступа так, чтобы размазывать сопли об этом на абзац.
Попробуй поитерироваться на np.array, и ты не увидишь выигрыша.
Сила np.array - в массовых операциях с примитивными числовыми типами, а массивы, как правило, заполнены ими.

[dmshar]

Перевожу для Эрнэст Фарукшин, . Наличие "множества полезных и удобных функций" - это уже производное от базовых отличий. - означает, что массовые операции возможно реализовать ПОТОМУ ЧТО все элементы в массиве однотипны (выполнено одно из "базовых" условий).
sum() для списка вынужден проверять тип каждого элемента, прежде, чем его прибавить к результату.
numpy.sum() может обойтись без этого, так как заранее известен тип всех элементов.
Отсюда выигрыш в скорости.

Answer 2

[longclaps]

Списки могут быть составлены из чего угодно,
массивы составлены из однородных элементов.
Вот весь секрет.

Comments

[Эрнэст Фарукшин]

А в чём эффективность того что я могу туда класть элементы только одного типа? Типо проверок на тип данных меньше?

[longclaps]

Типа на одного тупого меньше. Не обращай внимания.

[Эрнэст Фарукшин]

longclaps, ????

[Antonio Solo]

Эрнэст Фарукшин, это у него юмор такой

[Эрнэст Фарукшин]

Antonio Solo, я так и не понял в чём заключается эффективность того что массивы однородные. Можете пожалуйста объяснить

[dmshar]

Эрнэст Фарукшин, Тем, что вам не надо ДЛЯ КАЖДОГО ЭЛЕМЕНТА ОТДЕЛЬНО решать, какой у него формат представления данных.. Это - как минимум.

[Roman K]

Эрнэст Фарукшин, в том, что в оперативе они представляются как-то так

numpy:


[ 1, 2, 3, 4 ]


python list:

[ *,        *,        *,        *        ]
  ↓         ↓         ↓         ↓
  PyObject  PyObject  PyObject  PyObject  
  1         2         3         4

То, что в квадратных скобках — непрерывный кусок оперативы. Стрелки = указатели.

[Владимир Олохтонов]

Ещё массивы гораздо лучше кэшируются процессором, что позволяет избежать безумно медленной передачи данных из оперативной памяти.

Когда вы работаете со связными списками, вы вынуждены на каждом элементе делать mov из памяти, это примерно в 100 раз медленее, чем в массиве.

Списки хорошо подходят когда работа в каждом узле существенно тяжелее операций со списком.

[longclaps]

Эрнэст Фарукшин, у военных к гражданским есть шутка: если вы такие умные - почему строем не ходите?
Потому что толпа гражданских - это толпа, а отряд военных - это отряд. Толпою управлять сложно и ненадёжно, а отряду отдал приказ "вперёд, на мины" - и отряд исполнил.
Основной сценарий работы в нюмпай - это массовая работа с примитивными числовыми типами. Примитивный числовой тип - это как солдат, которого научили, как выполнять приказы (а их немного - прибавить, вычесть и т.д.) - и он их бегом исполняет. В отряде массиве всегда гарантированно находятся солдаты, и нет нужды уточнять личность и специализацию каждого. В списке могут находиться кто угодно, и прежде чем им что-то доверить, их нужно построить отпиздить заставить принять присягу. Это долго и муторно, потому что они - гражданские, и доверять им нельзя.
Такова жизнь, и если ты окажешься в армии - из тебя сделают солдата, который исполняет команды бегом. Или сломают.
Тебе может это не нравиться, но имей в виду - с тех пор, как люди вылезли из пещер, военные действия они предпочитают вести силами армейских подразделений, а не гражданских банд.
Кстати, в нютпай есть гражданские банды - это массивы питоновских объектов. Тип бесполезный и отвратительный, как орава призывников.

зы Извини, что назвал тупым. Типо был не в настроении.

[U235U235]

Эрнэст Фарукшин, все просто:
SIMD для массивов.

[longclaps]

U235U235, подайте-ка ссылку на офф.док, где про SIMD.

[U235U235]

longclaps, https://numpy.org/neps/nep-0038-SIMD-optimizations.html

[longclaps]

U235U235, да вы прямо гостья из будущего.
Accepted doesn't means Implemented.

[U235U235]

longclaps, например у меня бинарная сборка whl numpy, используют dll BLAS (MKL) с c SIMD инструкциями внутри.
https://github.com/numpy/numpy/blob/master/numpy/c...