Нужна ли математика в Data science?

Question

[Cipo]

Привет, изучаю сейчас линейную регрессию понимаю как она работает, для чего она, а так же могу написать код. Так вот вопрос такой: если я знаю как она работает и для чего она нужна, зачем мне знать какая у нее формула и что туда подставлять?

Просто когда говорят, что в этом направлении нужна математика, я не понимаю насколько глубоко нужно знать например ту же линейную регрессию

Comments

[VolgaVolga]

Еще как.

[mayton2019]

Математика может понадобиться чтобы объяснить заказчику почему на данном датасете какая-то гипотеза не сработала.

Также нужно уметь видеть какие-то признаки (выбросы) которые говорят о том что данные - грязные и не годятся для обучения. Строгих критериев тут мало и надо разбираться глубоко в мат-статистике чтобы озвучивать например такие заключения.

[Cipo]

mayton2019, предобработка данных, конечно - это само собой)

Answer 1

[alexalexes]

У каждой формулы есть граничные условия применения.
Если входные данные будут неконсистентны для метода, где работает эта формула, будете получать #ЗНАЧ! (если это Excel) и ничего не поминать, почему так случилось.
А со знаниями математики вы будете понимать:
1. Как урезать данные, или заполнить участок, где получаете #ЗНАЧ!.
2. Какие методы применить для автоматической оценки неконсистентности данных, чтобы ваш скрипт сам выявлял эти проблемы на конкретном типе выборки и делал корректировки.

Comments

[Cipo]

Дааа... до такого я еще не дошла конечно, что бы это применить. Но спасибо!

Answer 2

[dmshar]

Вот это звучит несколько странно :"а так же могу написать код. Так вот вопрос такой: если я знаю как она работает и для чего она нужна, зачем мне знать какая у нее формула " А как же вы пишете код для линейной регрессии, если на знаете, что там за формула? Или вы под "могу написать код" понимаете вызов метода из scikit-learn ? Ну так знание параметров функции и умение ее вызвать еще не делают из человека специалиста по машинному обучению. Хотя многие думают что это не так. Только вот после же первой встречи с реальными данными их апломба почему-то становиться на много меньше.
А вообще-то математика в Data Science это то-же что и анатомия в медицине. Может-ли врач считаться врачем, если он не знает анатомии, а умеет только выписывать рецепты лекарств? Вы бы хотели лечиться у такого врача? Именно фундамент отличает серьезного разработчика от Незнайки, который думал, что он все знает и умеет. Фундамент долго, упорно, и даже нужно закладывается. Но вот потом позволяет быстро расти.
Вот для этого и надо знать математику и статистику, которые лежат в основе Dara Scince. Что бы не остаться на всю жизнь Незнайкой.

Comments

[Cipo]

Проблема просто еще в том, что в ВУЗе дают эту математику, но когда ты приходишь на 2-3 курс и вы изучаете линейную регрессию , вы изучаете код и как он работает, а не разбираете математику там. Это странное образование

[dmshar]

Cipo, Ну, вуз то вы сами выбираете. Уверен, что в серьезном вузе такого не будет. В худшем случае вам скажут - вот вам функция, а как она работает - вы учили в курсе матстатистики в прошлом году, вспоминайте. А вот если вы те пары прогуляли - тогда "ой".

Answer 3

[Asiia_Thabet]

Привет. Да. В теоретической части алгоритмов машинного обучения математика обязательна. Для понимания более сложных алгоритмов прийдётся разбираться со всеми подробностями. На практике, без математической стороны модели применять её будет невозможно. Темы для изучения - это практически все темы высшей математики.