Адамовский нужен был в Новосибирском офисе, но зачем-то поперся в Прагу, где не было ни компа с оперативой (для запуска проекта нужно минимум 128 Gb), ни возможности работать с безбожно лагающими dev-серверами.
Average salary
$97,047 per year
- 45-60 тыс. долларов получает около 20% IT-специалистов
- 65% программистов из США за год получают 80-100 тыс. долларов
- Оставшиеся 15% зарабатывают сверх 100 тыс. долларов
Первый анонс, который стоит упомянуть, это выпуск новой СУБД — Cloudera Impala [2-2], которая работает поверх HDFS. Проще говоря, Impala создана, как и все остальные shared-nothing параллельные SQL СУБД [@tsafin – еще не очень понятно каким будет устоявшийся перевод термина SN, предлагаем остановиться на версии Сергея Кузнецова «архитектура без совместно используемых ресурсов»], и нацелена на обслуживание рынка хранилищ данных. Особенно обращает на себя внимание тот факт, что MapReduce слой был удален, и удален осознанно. Как многие из нас указывали годами, MapReduce не самый лучший внутренний интерфейс для SQL (или Hive) СУБД [2-3, 2-4]. Impala была создана разработчиками, которые знали про данный факт. На самом деле, похожая на Impala активность уже происходит как внутри HortonWorks, так и Facebook. Это ставит поставщиков Hadoop перед дилеммой — исторически «Hadoop»-ом называлась open-source реализация MapReduce, созданная Yahoo. Тем не менее, Impala выбросила этот слой из своего стека решения.
Как кто-то может оставаться вендором Hadoop если Hadoop уже не лежит в основе его стека?
Ответ прост – надо переопределить значение «Hadoop» и это то, что вендоры Hadoop в итоге и сделали. «Hadoop» теперь означает весь стек: внизу HDFS, на вершине работает Impala, MapReduce или другие системы. Над этими системами могут работать еще более высокоуровневые решения, такие как Mahout. Понятие «Hadoop» теперь относится ко всей коллекции получаемых решений.
Другой недавний анонс сделан Google, который сообщил, что MapReduce это уже «прошлый век», и что они пошли дальше, и стали применять решения лучше, строя свои системы на системах типа Dremmel, BigTable, и F1/Spanner [2-5]. Google должно быть адски смеется сейчас: они изобрели MapReduce для поддержки своего краулера в их поисковом движке в 2004, но несколько лет назад они заменили MapReduce реализацией BigTable, т.к. им нужна была интерактивная система хранения данных, а MapReduce работал только в пакетном режиме. В итоге получаем, что основная движущая сила за MapReduce отказалась от него еще некоторое время назад. И сейчас Google сообщает, что в будущем MapReduce не потребуется.