Как стать хорошим Big Data / Data Scientist'ом в России?

Question

[Кирилл]

Как построить план обучения, чтобы получить максимум навыков в данной области? На данный момент есть навыки Python (Основы), математика, эконометрическое моделирование

Comments

[Дмитрий Полушкин]

Вы уверены, что вам это надо? Вы действительно этим интересуетесь? Если ответ на все вопросы да, то подождите немного, всё само придёт, иначе зачем оно вам?

Answer 1

[ZloyHobbit]

Смотря что вы понимаете под "хорошим DS специалистом".
В идеале для этого надо окончить сильный технический вуз, отлично знать матанализ, линейную алгебру (матрицы это туда), дискретную математику, математическую статистику, теорию вероятности, теорию алгоритмов, и.т.д. и.т.п.
А потом знать R, python, с++ и все используемые в работе библиотеки и инструменты.

Проблема большей части курсов, от того же ШАДа, что они раситчаны на студентов физтеха, которым уже дана очень серьезная математическая подготовка. Большая часть людей, прослушав эти курсы, научится применять стандартные инструменты в стандартных ситуация, абсолютно не понимая, какая математика за всем этим стоит, и как ее можно модифицировать. Это не специалисты, а ремесленики дата сайна, которых на хайпе расплодилось очень много.
Хотите быть крутым исследователем - учите математику и становитесь математиком.

Comments

[xmoonlight]

Вот реальный ответ! Полностью "ЗА" под каждой буквой!

[Dr_Gonzo]

Смотря что вы понимаете под "хорошим DS специалистом".
В идеале для этого надо окончить сильный технический вуз, отлично знать матанализ, линейную алгебру (матрицы это туда), дискретную математику, математическую статистику, теорию вероятности, теорию алгоритмов, и.т.д. и.т.п.

Извиняюсь за тупой вопрос, но зачем это всё нужно? Не совсем понятно на каком этапе применяется (при сборе данных и аналитике или после, когда начинается логика выборки)?

[ZloyHobbit]

Dr_Gonzo: Эти знания нужны на этапе понимания принципов работы каждого шага. Слабо представляю, как привести простой и понятный пример, но если на пальцах, то надо понимать, что мат ожидание - это срденее значение распределения случайной величины, а не результат работы функции get_exp_val(distribution)

[ZloyHobbit]

Ну а понимание математики каждого действия необходимо для того, что бы не удивляться, почему вы стабильно получаете неправильные значения, используя давно написанную кем-то функцию:
def get_exp_val(distribution)
return 42
end

[Dr_Gonzo]

ZloyHobbit: пока не понятно. На мой взгляд принцип работы прост - собрал базы, связал их, структурировал, сделал выборку.

При выборке, основное, это логика.

Функция, это просто запрос информации, т.е. я могу просто согласится с тем, что функция работает с определёнными ограничениями.

[ZloyHobbit]

Принцип прост, принцип машинного обучения еще проще, а специалистов еще меньше =)
Логикой при выборке можно пользоваться исключительно в элементарных случаях, когда надо сравнить, к примеру, два отрезка разной длинны. Когда надо сравнивать теплое с мягким - логика уже работает не слишком хорошо. В этой ситуации вы строите признаковое пространство, на котором описание объекта является вектором. И для сравнения различных описаний вам нужна метрика. Метрика - это математическая функция, вам нужно ее максимизировать/минимизировать, в зависимости от задачи, можно попробовать ее продифференциировать, в данный момент вы перейдете из аналитической геометрии в матанализ, если это невозможно (а так чаще всего и получается), то вам надо искать решение при помощи различных статистических методов, применения какоторых надо обосновывать т.к. математически каждый из них основывается на свойстве величин и пространства, на которых они определены. И в этот момент вы можете без проблем применить готовую функцию из библиотеки питона, которая даст вам абсолютно неверный результат, потому что неприменима в конретном случае из-за того, что не выполняется какая-нибудь неразрывность второй производной функции распределения вероятности в указанной области...
Соответсвенно, умея применять штатные библиотеки можно быть специалистомв DS но только в узкой области максимально типовых задач, и ничего не уметь при любом отклонении.

[xmoonlight]

ZloyHobbit: "return 42" - это ? ))

[ZloyHobbit]

xmoonlight: это намек на то, что даже написанные кем-то и часто используемые штатные функции не всегда возвращают правильный ответ =)

[xmoonlight]

ZloyHobbit: значит - то! =)
Да-уж... в подавляющем большинстве случаев - так оно, к сожалению, и есть...

[Dr_Gonzo]

ZloyHobbit: спасибо, объяснили, теперь понял )))

Answer 2

[sim3x]

Изучить английский
Научиться гуглить

Comments

[Roman K]

Максим Чернятевич: Для того, чтобы выучить всё остальное — достаточно.

[sim3x]

Максим Чернятевич: намекаете, что придется переехать?
Не исключено

[Александр Пожарский]

sim3x: необходимое, но недостаточное условие :-) Впрочем, будто точное условие известно (и вообще существует).

[sim3x]

Максим Чернятевич:
Да я б посоветовал, если б знания "фундаментальной теории" я использовал хоть раз в пятилетку

Только ведь проще нагуглить

[Sanes]

Максим Чернятевич: Английский на уровне чтения документации учится за неделю. Половину словаря учить не надо, техническая терминология одинакова на всех языках.

[podavo]

sim3x:
>>>>> намекаете, что придется переехать?

он намекает, что "спец" с нагугленными знаниями нафиг никому не уперся.

если в задачах попроще еще согласны на эрзацы, то с биг-датой по другому. биг-датой не занимаются шарашкины конторы.

[sim3x]

podavo:
нужен результат
Как он получен - не важно

[podavo]

sim3x: с гуглением нормального результата не будет.
биг-дата это такая вещь, с которой невозможно на домашнем оборудовании научиться.

[sim3x]

podavo:
в бигдате нет никакой магии
Согласно определению vvvvv, научится можно и на домашнем оборудовании

[podavo]

sim3x:

>>>>> в бигдате нет никакой магии
>>>>> Согласно определению vvvvv, научится можно и на домашнем оборудовании

Магии нет нигде.
Везде есть особенности, которые приходят только с опытом.

Используя опыт, полученный на мизерных данных, вы даже близко понять не сможете какие вас ожидают проблемы в том или ином случае.

[sim3x]

podavo: например?

[podavo]

sim3x: да хотя бы концепция MapReduce

[sim3x]

podavo: ее нельзя реализовать на домашнем пк?

[binkaminka]

sim3x: реализовать можно. но на домашнем компьютере ты даже не поймешь - зачем это.
и почему твое решение тормозит в тысячи раз на реальных данных.

[sim3x]

binkaminka: видимо потому что на реальных кейсах map reduce перестали использовать?

[binkaminka]

sim3x:

видимо потому что на реальных кейсах map reduce перестали использовать?

и как вы предлагаете в этом разобраться?
сидючи на домашнем компьютере?

БигДата она потому и бигдата, что методы обработки по ней совсем другие.

Вы, очевидно, только с обычными базами данных имели дело?

SQL на домашнем компьютере ты можешь изучать. Хоть при масштабировании и будет несколько иначе, но не критично это - ибо в большинстве проектов хватит навыков, полученных на домашнем компьютере.

BigData - она сильно другая в реальных масштабах. То, что ты у себя дома научишься - вообще никуда не приткнешь в BigData.

[sim3x]

binkaminka: биг дата определяеся относительно имеющихся вычислительных мощностей
Для тренировки достаточно любого пк

Сиквел - тут вообще ни к чему упоминать

[binkaminka]

sim3x:

биг дата определяеся относительно имеющихся вычислительных мощностей
Для тренировки достаточно любого пк

Типичная BigData - это сеть из серверов.
Что вы там на одиночном компьютере напрактикуете?

Сиквел - тут вообще ни к чему упоминать

Вы переносите свой опыт изучения SQL на BigData - а это не корректно.

[sim3x]

binkaminka:
>Типичная BigData - это сеть из серверов.
нет

>Вы переносите свой опыт изучения
нет

Answer 3

[Roman Mindlin]

Посмотрите и как следует поймите все доступные курсы ШАД, затем идите на Kaggle и читайте там рецепты. Все непонятное гуглить, понимать и уметь применять. Участвуйте в конкурсах, занимайте хорошие места.

Answer 4

[bychok300]

Coursera.org
udacity.com
там имеются отличные бесплатные курсы

Answer 5

[binkaminka]

https://habrahabr.ru/company/npl/blog/321918/

Answer 6

[Sanes]

Обучение, дело хорошее. Но поднапрягитесь лучше с вопросом практики.
На офлайн работе быстрей дело будет.