Каков путь к big data?

Question

[mrmr]

Учусь программировать. Интересно направление big data. Перспективное направление. Есть пара вопросов довольно дилетантских:

1. Правильно, что специалистами по большим данным, по машинному обучению не становятся с нуля. К этом технологиям может придти только программист с опытом минимум в несколько лет?

2. Помониторил вакансии по бигдата. Для python программистов вакансий чуть больше, чем по java. Есть тенденция вытеснения явы пайтоном в нише больших данных? Какой язык стоит учить с прицелом на большие данные в будущем?

Comments

[xSkyFoXx]

Вы главное для начала с мотивацией определитесь. Оно Вам надо или просто слово модное. Работа ничем не отличающаяся от любой другой, как и уровень дохода.

[mrmr]

xSkyFoXx: вы верно заметили по поводу мотивации)

Answer 1

[xmoonlight]

Почитайте, запомните и повторяйте перед сном:

Нет никакой универсальной "серебряной пули" против проблем в самых сложных проектах, включая обработку "больших" данных.

Моя архитектура проекта, включая архитектуру используемой базы данных для этого проекта, в целом и полностью зависят от функциональных требований!

Я это понимаю, буду каждый раз самостоятельно проектировать архитектуру проекта, включая систему хранения данных (СХД) для этого проекта.

И напоследок: неважно сколько данных и какого типа, важно - как они связаны!

Answer 2

[hudozhnin]

Мне нравится условный план, написанный тут.

Касательно "вытеснения" как Вы выражаетесь Питоном Джавы в этом контексте, то это справедливо.
Никаких преимуществ Джавы для анализа данных, что больших, что малых, в большинстве случаев не нужно.

Comments

[mrmr]

Спасибо)

Answer 3

[⚡ Kotobotov ⚡]

никакого вытеснения нету, питону не по силам вытеснить java, из анализа данных, дела обстоят совсем наоборот, для высокоскоростной работы, и для манипулирования данными в памяти, используют именно статически типизированные языки очень популярны java/scala.
всякие питоны и js используют только для прототипирования, быстрой проверки идей.
К томуже зарубежом питон -> это основной язык используемый при обучении студентов программированию (HE "программистких" специальностей) как более простой для обучения язык, плюс удобно работать используя RELP ( https://ru.wikipedia.org/wiki/REPL ).
На динамически типизированных языках писать что-то простенькое гараздо проще. И поэтому так много всяких студенческих поделок на питоне для обработки данных.
Но нужно учитывать что использование динамически типизированных языков, для реально крупных проектов убийственно, как с точки зрения разработки и откладки, так и с точки зрения производительности.
Для прототипирования , для контрошек по математике питон это отличное решение, для реального бизнес проекта не стоит даже заморачиваться.
кстати для любителей собрать что-то быстро на коленке в 9й java будет идти jshell с relp https://blogs.oracle.com/java/entry/jshell_and_rel...

Comments

[mrmr]

Благодарю за развернутый ответ)

Answer 4

[Игорь]

К хорошим вышеизложенным ответам добавлю ссылку вот на такую очень популярную схему с названием "Road To Data Scientist". Можно распечатать, повесить и отмечать галочкой, что знаете, что нет. Понятное дело, что схема достаточно относительная, но всё же.

Comments

[mrmr]

Крутая схемка. Спасибо)

[Николай Карелин]

Уже не доступна - регистрация домена закончилась :(

Answer 5

[binkaminka]

https://habrahabr.ru/company/npl/blog/321918/