Какие области математики понадабатся дата инженеру?

Question

[grecigor25]

Я изучаю пайтон уже около 6-8 месяцев, выполнил пару заданий на фрилансе, зачастую парсинг или боты для телеги, решил определиться с направлением, стоит выбор или дата инженерия или web, но я самоучка, не знаю прям что конкретно нужно учить, у меня есть определенный стек взятый с инета, но не про все.

Дата Инженеры очень много времени занимаются же с данными, какая математика больше всего вам пригодилась? Говорят Java нужнее чем Python, так ли это?

Comments

[Алан Гибизов]

Русский язык очень нужен.

[Сергей Горностаев]

Говорят Java нужнее чем Python, так ли это?

Нет, не так. В DS либо Python, либо Scala. Всё остальное в исчезающе малых количествах.

[Antonio Solo]

Data scince - это занятие для корпоративного сектора. Одиночке там особо делать нечего. а что бы попасть в крупную корпорацию типа сбера для нача надо иметь красивое резюме. То есть В/О обязательно.

[Antonio Solo]

Сергей Горностаев,

>>Нет, не так. В DS либо Python, либо Scala. Всё остальное в исчезающе малых количествах.

ну тут ты не прав. На первом месте стоит обычная экселька и ее скрипты.

[Сергей Горностаев]

Antonio Solo, в Сбере куча разработчиков без в/о или с непрофильным.

Answer 1

[Antonio Solo]

"data science" такое-же абстрактное понятие как "программирование". Что бы определиться с разделами математики надо понимать с какими данными и в какой сфере тебе придется работать. Это может быть как прогнозирование временных рядов в биржевой торговле, это может быть анализ потоков, это может быть обработка статистических наблюдений, это может быть машинное обучение для какого-то робота - да все что угодно.

kaggle тебе в помощь

Comments

[dmshar]

Вопрос, вообще-то был о "дата инженерии". Что абсолютно не тождественно "data science".

[Antonio Solo]

ну так расскажи народу чем они отличаются. напиши статью на хабре. мы почитаем и восхитимся.

[dmshar]

Antonio Solo, А зачем мне что-то писать? Все уже детально написано, разжёвано и растолковано для тех, кто не в теме. Странно, что отвечая в этой теме кто-то не в курсе таких базовых понятий.
https://habr.com/ru/company/netologyru/blog/496082/
https://www.datacamp.com/community/blog/data-scien...
https://www.kdnuggets.com/2021/02/dont-need-data-s...
https://blog.skillfactory.ru/v-chem-raznitsa-mezhd...
https://www.xplenty.com/blog/data-science-vs-data-...
https://www.simplilearn.com/tutorials/data-science...
https://ncube.com/blog/data-engineer-data-scientis...

[Сергей Горностаев]

dmshar, если отталкиваться от текста статьи по первой ссылки, то data engineer'у математика вообще не нужна. Вот только на практике data scientist и data engineer обычно не разделяются, на сколько мне известно.

[dmshar]

Сергей Горностаев, Немного не так. Вот, из "последнего", прилетело буквально сегодня:
https://towardsdatascience.com/data-engineering-ro...

Answer 2

[Ерлан Ибраев]

ИМХО
Из математики в первую очередь матстатистика, алгебра и теория чисел, теория множеств.
Для датасайнтиста ЯП это вспомогательный инструмент.
На сколько я понимаю python просто проще в изучении + есть много специфичных библиотек.

Java это "кровавый Ынтырпрайз".
Смысла учить его, если не собираешься быть программистом нет.

Comments

[longclaps]

теория чисел

Гражданин соврамши. Зачем?

[dmshar]

longclaps, И не только с теорией чисел, кстати. Похоже, народ даже не заморачивается, чем Data Science отличается от Data Engineering.