Можно ли использовать PyPy в связке с Pandas?

Question

[lPolar]

Всем привет.
На протяжении трех-четырех месяцев использую pandas в связке с matplotlib и numpy в качестве основного инструмента для обработки, хранения, визуализации и анализа данных. Как интерпретатор python сначала использовал стандартный CPython дистрибутив, потом перешел на Anaconda, в нем были "из коробки" установлены blaze и bokeh.
Сейчас думаю попробовать PyPy как интерпретатор языка, в силу его скорости (а тесты показывают очень хорошую скорость), однако интересует мнение тех, кто пользовался - какие сложности с совместимостью модулей для PyPy и т.д.?

Answer 1

[Сергей Грунтовский]

Вряд ли.

PyPy не дружит с модулями на C/C++. Поддержку numpy до сих пор не реализовали полностью (хотя работать уже можно).

+ Не думаю, что это даст значительный прирост производительности, так pandas и numpy сами по себе довольно быстрые и написаны с использованием C/C++.

Посмотрите в сторону Cython, кстати. Он отлично работает с сишными модулями и позволяет увеличить производительность за счет строгой типизации, компиляции в C/C++ и прямого вызова C/C++ функций из кода на python. Литературы на русском по нему, вроде, нет, но есть очень хорошая документация на английском.

Если нужно ускорить код на python, не обязательно менять интерпретатор.
Можно просто переписать критические места на C/C++ и запускать, используя ctypes.
Можно использовать scipy.weave - позволяет вставлять инлайновый C/C++ код.
Если используешь numpy, то есть еще интересная штука - numexpr. Оптимизирует вычисления с numpy массивами.

Comments

[lPolar]

Сергей, спасибо за Ваш ответ!
Я постарался разобраться в теме и понял, что смена интерпретатора не решит моих проблем, поскольку реальная суть проблемы сводится не к выбору интерпретатора языка, а к выбору связки инструментов для работы с данными.
На данным момент реализовал все следующим образом: Anaconda дистрибутив с python 3.4, как инструмент для работы с данными - pandas, однако данные хранятся не в оперативке, а в sqlite базе и достаются оттуда с помощью pandas.read_sql_query(). Вычисления на массивах организованы через numexpr + numba, это действительно достаточно быстрые инструменты.