Актуальны ли специалисты Big Data в РФ?

Question

[beginer123]

Здравствуйте, есть желание заниматься Big Data.
Но действительно ли нужны такие специалисты в РФ?На них огромный спрос?И они хорошо оплачиваются?
Слышал что в США спрос очень большой и будет расти.
А в РФ кроме яндекса и mail ru, нужны ли они кому то еще?
И еще вопрос, чем обычно занимаются такие специалисты?
Вот ты приходишь на работы, чем ты занят в течении недели обычно?

Comments

[Yo!]

в ИТ РФ все с отставанием хорошим происходит, но спрос как и везде скоро будет тоже огромным, а хорошо оплачиваются уже сейчас. в РФ главным драйвером роста будет замена ораклов на бигдату. причем не ради больших данных, а ради безопасности на тему санкций и экономии на лицензиях. банки, страховщики, крупные ритейлеры уже плотно сидят на бигдате, а теперь любой крупной канторе нет особого смысла запускать какой-нибудь DWH на оракле. на Hadoop оно и дешевле выйдет и возможности роста почти безграничны. плюс много меньше приключений на тему санкций и Крыма.

Answer 1

[amambaru]

BigData - это примерно пять фирм на весь мир.
Все остальные просто используют это модное слово для другого
Вы не Гугль

Comments

[beginer123]

5 каких?
Мне казалось больше думал пару сотен
в РФ кромя яндекса и мейр ру ничего не приходит в голову

[beginer123]

"модное слово для другого"
Для чего используют тогда?

[amambaru]

beginer123, на самом деле это преувеличение про 5 фирм.

в РФ - еще 2 соц. сети точно (впрочем, вКонтакте и Одноклассники принадлежат тому же Майл.Ру)
возможно, Сбербанк.

но и в США подобных контор не очень много.
никак не сотни.

[amambaru]

beginer123, вся статья, ссылку на которую я привел - об этом и рассказывает.

[beginer123]

amambaru, А что на счет Китая или Индии?
Там ведь много людей живет, много данных генерируется?

[beginer123]

amambaru, так я не спорю что кампний в РФ уровня гугл всего 2.
Поэтомму и спрашиваю, если расчитываешь заниматься Big Data и жить в РФ,
Эти 2 кампании единсвенные потенциальные работодатели?

[amambaru]

beginer123,
1. много людей != много людей пользутся интернетом активно, генеря данные.
2. БигДата != люди из интернета
3. В Китае - АлиБаба, ТаоБао, АлиЭкспресс. Так они по масштабам и не меньше Яндекса.

[amambaru]

beginer123,

так я не спорю что кампний в РФ уровня гугл всего 2.
Поэтомму и спрашиваю, если расчитываешь заниматься Big Data и жить в РФ,
Эти 2 кампании единсвенные потенциальные работодатели?

Ты не понял.
Это ШТУЧНАЯ работа в том числе и в масштабах планеты.
Это нельзя планировать - что вот взял и просто начал заниматься также легко и просто как разработкой веб-сайтов например.

[Yo!]

статья полная глупость, человека не в теме. подавляющее большинство разворачивает бигдату без всяких map-reduce и не ради объема данных, а ради экономии на лицензиях.
анализ логов, предикшен модели, DWH на бигдате уже практически во всех российских банках и крупных фин канторах, все соц сети используют бигдату, даже пхп скриптики типа битрикс теперь с бигдатой.

[neu3y]

Yo1,

подавляющее большинство разворачивает бигдату без всяких map-reduce и не ради объема данных, а ради экономии на лицензиях.

вы тоже не знаете что такое бигдата.
насчет банков (не всех, а только крупнейших) - согласен.

насчет битрикса - не гоните, пожалуйста.

[Yo!]

neu3y,
по любому у меня знаний в трое больше, чем у всех тут присутствующих вместе взятыми, а опыт в реальном бигдата/хадуп проекте так думаю и вовсе лишь только у меня. хотя признаю, понятия не имею, что маркетологи в понятие бигдаты накрутили.

на счет битрикса, я реально видел смешную лекцию об их хадупе
https://www.1c-bitrix.ru/products/cms/features/big...

[neu3y]

Yo1, я и говорю, вы Хадупы путаете с БигДата
Значит вы не в курсе что такое БигДата
Вот тут разжевано, что вы не одиноки в своем заблуждении
https://habrahabr.ru/company/infopulse/blog/330708/

[neu3y]

Yo1,

Вы про Битрикс-то сами читали?
Мало ли чего они там написали в маркетинговых целях.
Вы серьезно считаете БД адресов (даже все е-майлов в мире) - БигДата?

[Yo!]

neu3y,
Я уже писал что опус писал филолог, далекий от ит. Похоже у вас те же пробелы в понимании. Не важно сколько там емайл адресов, важен подход в обработке. Хоть три адреса. У меня на ноутбуке заглушка к хадуп и паркет файлики на пару гб и это бигдата, а вот на нашем оракловом сервере 15 тб данных, включая предикшен модели, но это не бигдата. Потому как суть в подходе, а не кол-ве, как думают филологи глядя на приставку биг

[neu3y]

Yo1, Милай, это не БигДата, а самая обычная обработка.
Когда у вас 3 адреса, когда у вас 3 сервера и когда у вас 300 серверов - это тоже не БигДата.

Спец методы Бигдаты имеет смысл применять на прямо-таки совсем других масштабах.
Примерно на таких как у Амазона, когда он вырос до 7000 сотрудников.

[Yo!]

neu3y,
По битриксу я видео с конфы смотрел, они сегментируют покупателей в хадуп+спарк. Вполне себе бигдата

[neu3y]

Yo1,
От того, что вы начнете применять софт, используемый Гуглем, ФейсБуком, ВКонтактиком, Линкедином и т.п. - у вас не возникнет на пустом месте БигДата
https://habrahabr.ru/company/infopulse/blog/330708/

[neu3y]

Yo1, Я понимаю что вам стремно - ну как же, вы же специалист по Хадупу, вы можете надувать щеки и всех тыкать в свою крутость.

Но реальность - она иная.
Вы не занимаетесь БигДатой.
Вы в лабораторных МИНИАТЮРНЫХ условиях пытаетесь теми же методами, что и БигДата работать (кстати Гугль уже отказался от МэпРедьюса)
Но эти методы в миниатюре работают совсем не так - у вас не те задержки по сети и пр. и пр.

[Yo!]

neu3y,
Интересно, судя по коментам в хабре таких как вы большинство, если не подавляющее большинство. Сколько же вам лет и каков опыт в ит, что название может сбить с толку ?

[Eldar01]

Yo!, ну еще часто Бигдатой называют аналитику по контекстной рекламе и т.п.
Аналитик Big Data


По сути, вам все правильно написали.
Никакая это не BigData.
Это просто Data.

А то что вы у себя на локальном компьютере используете методы BigData для обработки - это глупость, это медленно и неудобно - следовательно непрактично.

Ну разве что вы студент и для обучения...

[Eldar01]

А что на счет Китая или Индии?
Там ведь много людей живет, много данных генерируется?

Ну да, примерно так и есть. По паре десятков компаний в США, ЕС, Китае, Индии. Ну и компаний 5 в России.

[Yo!]

Eldar01,
наверно в 12 лет где-то так и кажется, тем не менее бигдата это про подход к массивно-параллельной обработки данных, а не про размер. не важно 3кб у меня файлик из юнит теста и шуршит на десктопе или этот-же код 3 тб жует на кластере, важны алгоритмы.
юнит тесты локально хоть и медленно, но это удобно.

[Eldar01]

Yo!, массово-параллельная обработка данных в пределах одного жесткого диска - делается проще и быстрее, чем, нежели если бы вам это захотелось делать на принципах BigData.

BigData потому и выделяется, - что традиционные методы не подходят.

[Yo!]

Eldar01,
что за железка и как делается проще никак не влияют на алгоритм. хоть машина тюринга под алгоритмом. юнит тест это тоже бигдата, не важно где он запускается, на реальном кластере или моем десктопе.
что там филологи и маркетологи выделяют совершенно не важно, важно, что большая часть миграций на хадуп происходи по экономическим причинам (экономия на лицензиях), а не каких либо сложностях оракла жувать их объемы данных.

[Eldar01]

Yo!, на алгоритм не влияется.
на целесообразность применения алгоритма - влияет.

То, что вы локально применяете тот или иной алгоритм - не поможет вам в реальных проектах. Локально вы не сможете определить возможных проблем при масштабировании.

BigData потому и BigData, что традиционные алгоритмы, отрабатывающие на одной машине за секунды, на кластерах из тысяч машин превращаются в часы.

[Yo!]

Eldar01,
от юнит теста никто и не просит масштабирования. у юнит теста своя цель и соответственно своя целесообразность. при этом снова обращаю внимание на то что запуск юнит теста локально, а не на кластере, не отменит "бигдатовость" тестируемого кода.

[mzG2Gzm]

Yo!,
вам же правильно написали - на больших масштабах все работает СОВСЕМ НЕ ТАК.
впоть до полной переделки принципов алгоритма.

[Yo!]

mzG2Gzm,
пусть пишут, у продажников работа такая, писать о том чего не видели.
map-reduce или spark запущенный локально не превратится в тыкву, хоть и отработает без всяких yarn, hdfs и во многом без параллельности. impala код на one node cluster тоже не превращается в тыкву, хотя очень вероятно будет на one node cluster отрабатывать по сильно другому плану, чем на полновесном кластере. но это по прежнему бигдата и потому я и пишу тесты локально, что локально оно работает во многом так же. хотя конечно реальные данные и регрешен тесты на полновесном кластере выявляют то, что в юнит тестах не заметишь.

[mzG2Gzm]

Yo!, в тыкву он не превратится.
он просто локально не нужен. есть методы, которые работают быстрее и они проще. когда локально. MapReduce подразумевает независимую работу узлов, что и понятно. локально в этом ограничении нет необходимости.

в тыкву же превращаются алгоритмы, протестированные на 1-2-10 сервера при мастабировании их до BigData.

Да и вообще MapReduce уже устарел. Напрасно вы на него ссылаетесь.

Первый анонс, который стоит упомянуть, это выпуск новой СУБД — Cloudera Impala [2-2], которая работает поверх HDFS. Проще говоря, Impala создана, как и все остальные shared-nothing параллельные SQL СУБД [@tsafin – еще не очень понятно каким будет устоявшийся перевод термина SN, предлагаем остановиться на версии Сергея Кузнецова «архитектура без совместно используемых ресурсов»], и нацелена на обслуживание рынка хранилищ данных. Особенно обращает на себя внимание тот факт, что MapReduce слой был удален, и удален осознанно. Как многие из нас указывали годами, MapReduce не самый лучший внутренний интерфейс для SQL (или Hive) СУБД [2-3, 2-4]. Impala была создана разработчиками, которые знали про данный факт. На самом деле, похожая на Impala активность уже происходит как внутри HortonWorks, так и Facebook. Это ставит поставщиков Hadoop перед дилеммой — исторически «Hadoop»-ом называлась open-source реализация MapReduce, созданная Yahoo. Тем не менее, Impala выбросила этот слой из своего стека решения.

Как кто-то может оставаться вендором Hadoop если Hadoop уже не лежит в основе его стека?

Ответ прост – надо переопределить значение «Hadoop» и это то, что вендоры Hadoop в итоге и сделали. «Hadoop» теперь означает весь стек: внизу HDFS, на вершине работает Impala, MapReduce или другие системы. Над этими системами могут работать еще более высокоуровневые решения, такие как Mahout. Понятие «Hadoop» теперь относится ко всей коллекции получаемых решений.

Другой недавний анонс сделан Google, который сообщил, что MapReduce это уже «прошлый век», и что они пошли дальше, и стали применять решения лучше, строя свои системы на системах типа Dremmel, BigTable, и F1/Spanner [2-5]. Google должно быть адски смеется сейчас: они изобрели MapReduce для поддержки своего краулера в их поисковом движке в 2004, но несколько лет назад они заменили MapReduce реализацией BigTable, т.к. им нужна была интерактивная система хранения данных, а MapReduce работал только в пакетном режиме. В итоге получаем, что основная движущая сила за MapReduce отказалась от него еще некоторое время назад. И сейчас Google сообщает, что в будущем MapReduce не потребуется.

https://habrahabr.ru/post/270017/

Answer 2

[longclaps]

Ну сам посуди: какой еще огромный спрос, если ты его не видишь?
Спрос совсем маленький, малюсенький.
А специалисты такие всю неделю гоняют БигДату туда-сюда. Лучше бы делом занялись, ей-богу.

Comments

[beginer123]

а какой конечный результат работы биг дата специалистов?

[longclaps]

beginer123: Отчет на пару страниц, примерно такого стиля: "В недрах интернета происходят явления, причиной которых могут быть невидимые сгустки тёмной материи. Для получения более детальных результатов необходимо дополнительное финансирование".

[beginer123]

longclaps: "Вам больше не стоит заниматься юмором" с

[longclaps]

beginer123: А чем стоит?

[Сережа Ахен]

longclaps: бигдатой займись уже, сервера простаивают.

Answer 3

[Дмитрий]

Обычно, в течении недели, я прихожу на работу и работаю.
Вы бы хоть уточнили при какую сторону биглаты речь? Програмист/админ/саппорт?

Comments

[beginer123]

Мне казалось в Big Data области работают аналитики по анализу больших данных.
Разве от программиста кроме помощи в настройе Hadoop что то нужно еще?
А какие специалисты у вас в кампании связанные с Big Data?

[Дмитрий]

beginer123, в моем понимании специалисту по работе с данными должно быть безразлично их количество. Он анализирует информацию, пишет алгоритм в конце концов. Програмист реализует это в коде. А чтобы было на чем это все обсчитать, нужны админы. Редкий програмист сможет вам поднять с нуля кластер и поддерживать его. Впрочем это и не его задача. И не стоит забывать про инфраструктуру на которой это все будет крутиться. Буквально недавно видел пример как контора отказалась от уже купленного железа на несколько миллионов долларов и пошла в aws, потому что "спецы" просто не осилили добиться от своего железа хоть сколько-нибудь приличной производительности.

[beginer123]

Дмитрий,
А какие тогда существуют спецциальности в сфере Big Data?
И чем занимается каждый из них?
Допустим аналитик, извлеакает данные и визуализирует их, строит отчеты, верно?
админ настраивает Hadoop? Так?
Какие еще нужны специалисты для решения задач Big Data

Answer 4

[Eldar01]

Спрос как бэ есть.

Аналитик Big Data


Только это не BigData никакая. Просто намериваются красивым словом приманить.
Фактически там:

Задачи:

• Анализ статистики внутриигровых событий;
  
• Разработка и ведение документации по функционалу и балансу игры;
  
• Развитие имеющихся игровые проекты - аналитика, обновления, акции;
  
• Анализ рынка игровых приложений;
  
• Генерация идей монетизации проектов, игровых механик;
  
• Полный цикл закупки мобильного трафика: запуск рекламных кампаний, оптимизация трафика и масштабирование;
  
• Работа с дизайнерами для создания креативов: A/B тестирование и оптимизация;
  
• Оценка новых каналов: проведение тестовых запусков и анализ результатов;
  
• Подготовка отчетности об эффективности рекламных кампаний
  

.

То есть это просто Data, без приставки Big.