Как устроено хранение данных в pandas series?

Question

[newPsevdonim]

Приходится сталкиваться с pandas довольно часто и стало интересно за счет чего он так быстро работает. Мне понятно, что датафрейм состоит из series, а те в свою очередь грубо говоря являются словарем или двумя векторами, один из которых является index-ом, а другой значениями. Но вот за счет чего он так быстро итерируется по индексам. Слышал где-то что он построен на графах вершинами, которых являются пачки значений, но вот что это на самом деле так не уверен. Не могли бы вы скинуть ссылки где про это можно узнать поподробнее, так как сам ничего найти не смог.

Comments

[kamenyuga]

В основе pandas - numpy, который написан на Си и Фортране, использует эффективные структуры данных, алгоритмы и возможности железа, в частности векторизацию вычислений (scalar processor vs vector processor, avx instructions).

Answer 1

[dmshar]

Если вам просто для интереса - ну можно, конечно, поискать ответ на просторах интернет. Интереснее это делать самому, а не пожнав плоды чужого поиска.
А если у вас интерес профессиональный - то напоминаю, что Pandas - проект открытый. Более того, как написано на сайте - "pandas is mostly developed by volunteers. All kind of contributions are welcome, such as contributions to the code". Соответственно, всегда можно присоединится к этом проекту https://pandas.pydata.org/docs/development/index.html и поучаствовать в нем, а по дороге найти и ответ на ваш вопрос.