Зачем использовать pandas и numpy для анализа данных?

Question

[J_K]

Прохожу сейчас курс по анализу данных на Udacity. В частности, там рассматривается использование Pyhon, а также библиотек pandas и numpy для анализа. Примеры, которые там приводятся, могут быть сделаны с тем же успехом, и, подозреваю, с гораздо лучшей производительностью на том SQL. Соответственно, встал вопрос - зачем использовать этот довольно тормознутый интерпретируемый язык для вещей, которые гораздо лучше и органичнее делаются базой данных? Есть какие-то специальные use cases, или причины, для которых используется именно Python?

Answer 1

[asd111]

Python используется потому что его можно потом встроить в рабочее приложение. Так делает гугл, яндекс и др.
Numpy и т.п. библиотеки написаны на С поэтому они не такие медленные как кажется.
Там где не хватает скорости python библиотек написанных на С, используется С++ а не SQL.
SQL подходит для некоторых задач, но нарисовать график с помощью SQL нельзя, а с помощью тех же python библиотек возможно. В анализе данных часто строят графики, считают векторные и т.п. произведения, на SQL такое писать неудобно.
Если не используется SQL или python, то используют обычно wolfram mathematica или mathcad и т.п. математические программы где удобно считать матрицы, векторы, производные и удобно строить графики.
С помощью python пишут софт, в котором используется результат анализа данных, поэтому и саму обработку данных пишут на python(или на С++).
Для python есть большие machine learning библиотеки наподобие google tensor flow https://www.tensorflow.org/ что опять же говорит о том, что данный язык является стандартом для написания прикладных приложений, связанных с machine learning, так же как SQL является стандартом для работы с БД.

Comments

[J_K]

Спасибо за развернутый ответ.
Но ведь разные выборки, группировку и т.д. можно делать в том же SQL, а потом уже обрабатывать на любом языке. Мне интересно, почему именно эти функции стоит делать на том же Python.

[asd111]

J_K: с точки зрения подготовки данных для анализа sql конечно удобнее

Answer 2

[Александр Поляков]

Как и во всем программировании можно выделить две фазы - прототипирование и продакшен.
Соответственно python (хотя мне больше понравится R) это прототипирование - на нем удобно и быстро прикинуть модель и посмотреть результаты соответственно и все эти типы тоже для удобства (просмотр в разных отборах, сортировках...). Далее, если действительно большие задачи, то разработанную модель льют в железе (компилируемые языки).
По поводу SQL это вы погорячились - в первую очередь это доступ к данным, а нейронные сети, фурье преобразования... удобней делать в других языках. Хотя видел как анализ данных с k-mean... делали в Excel, но это на любителя.

Comments

[J_K]

Спасибо за ответ. Но ведь это получается двойная работа. Сначала - добиться результата на Python, потом переписать на чем-то еще. Тем более, что если языки разные, они используют разные библиотеки, подходы и так далее. Не очень-то экономный способ разработки. Возможно ли написание production кода на самом Python? Тем более, что его можно скомпилировать (не знаю, правда, только ли в экзешники или в библиотеки тоже).

[Александр Поляков]

J_K: Если модель будет плохая, то все равно придется переписывать, а на python быстрее написать и увидеть. Как уже было сказано python на самом деле везде где можно подключает С библиотеки для ускорения, соответственно используя любимый всеми С++ можно собрать из тех же библиотек. Есть и прямые компиляторы в исполняемый файл (что то типа cython.org/), но там, конечно же, тянется еще ощутимый багаж который замедляет. Продакшен на python давно уже реальность (тот же Django да и куча еще чего интересного).
Уже было где-то обсуждение что проще купить железо чем оплатить работу программиста, который напишет производительный код.

Answer 3

[Dimonchik]

прикол Питона в том, что в конкретных задачах он внезапно не тормознутый ),
что в NumPy, что в ВЕБ-приложениях

поэтому фраза "довольно тормознутый интерпретируемый" работает как детектор )

Comments

[J_K]

Не знаю, попытка запустить один скрипт на сравнительно небольшом наборе данных заняло 13 секунд! (Может, вранье, но такой мне выдали output).
Детектор чего? Не надо, пожалуйста, копаться в моей личности, это к делу совершенно не относится. Как уже было сказано, я прохожу курс по анализу данных, следовательно, опыта в подобных вещах не имею, чего и не скрываю. Вопрос абсолютно чайниковский с этой точки зрения, суть его была в том, чтобы мне дали конкретные пример, когда применением Python более оправдано, чем SQL. Вот на этом и сосредоточьтесь. Опять же, если говорите, что не тормознутый, приводите, пожалуйста, конкретные цифры.

[lega]

J_K: При правильном использовании питон может быть в тысячи раз быстрее чем sql-db, зависит от задачи.

[Dimonchik]

J_K: цифры приведены по ссылкам, читайте внимательно )) и вообще: Python используют широко много где, например, Wargaming, поэтому вы поосторожнее расбрасывайтесь шаблонами и надеванием ярлыков.
Да, высокая скорость у Питона от того, что он зачастую является оберткой к сишным библиотекам, ну так код приложения все равно ведь на Питоне пишется )
ну а SQL быстрым не бывает априори, это тоже со времеем узнаете, ибо применяется там, где на первом месте - целостность данных, а не скорость их обработки

Answer 4

[Владимир Куц]

> с гораздо лучшей производительностью на том SQL. Соответственно, встал вопрос - зачем использовать
> этот довольно тормознутый интерпретируемый язык для вещей, которые гораздо лучше и органичнее
> делаются базой данных?

В популярной библиотеке OpenCV numpy используется для обработки изображений и распознавания образов. В том числе на видео.
Хочется посмотреть как вы сделаете это быстрее и органичнее на SQL. :)

Comments

[J_K]

Э, речь не шла о распознавании образов! Только об обработке данных, такой, как выборка, группировка и т.д. Просто я вижу, что pandas имеет такие же функции, как SQL, вот и стало интересно, в чем выгода использования Python. Как по мне, как SQL с этой точки зрения органичнее.

[Владимир Куц]

J_K: Я к тому, что при правильно применении Python далеко не является таким уж "тормознутым". К тому же в Python это можно быстро встроить в инфраструктуру - написать сайт для удобного ввода и отображения, критические запросы закешировать. Затраты на разработку сократятся в разы, и выглядеть это все будет достаточно целостно и органично. Одним sql-ом этого не добьешься. Каждый инструмент хорош по-своему, поэтому ваш вопрос "зачем использовать Python" - некорректен.

Answer 5

[sim3x]

Питон там используется для того чтоб дергать апи, написанное на си