Какую hardware конфигурацию нод выбрать для кластера Hadoop?

Question

[nickolas_php]

Раньше с задачами аналитики у нас справлялась Vertica + Tableau, но даных уже больше 1TB + много проблем с нагрузкой, потоковой обработкой данных + нужно расширяться. Со всем этим должен хорошо справиться Hadoop кластер. Со старта там будет 3-8TB данных. Будет Spark Streaming для обработки потока данных с сайта с realtime визаулизацией основных показателей продукта(Окупаемость, активность и т.д.). В рунете информации очень мало. Всё что удалось найти на англоязычных ресурсах Я постарался осмыслить и отобразить для будующего поколения в этой статье: bigdata-intips.blogspot.com/2015/10/hadoopwith-spa... . Но это только базовые понятия о том что из себя представляет hardware конфигурация кластера и показатели очень разнятся от источника к источнику. Нужно взять с запасом на пол года и не хочеться потратить деньги и получить bottleneck в СPU или в Network или в memory. Если есть опыт в администрировании Hadoop кластера, то подскажите, пожалуйста, основные варианты характеристик NameNode, DateNode и других необходимых серверов в продакшен окружении с наиболее релевантным соотношением цена/производительность. Спасибо за помощь!

Answer 1

[UNIm95]

Вопрос как всегда в бюджете.
Хоть и говорят что хадуп дешёвый но это не совсем так.
На Name/Managment Node нужна мощная желека.(4-8 ядер, 48+ГБ рам, RAID5(6) с hotspare)
На Data/Worker можно попроще но с хорошей дисковой системой и большей оперативкой(4-6 ядер 48+ГБ рам, RAID1 система, JBOD теров 10).

Comments

[nickolas_php]

Тоесть Я правильно понял, что на каждой DataNode нужно поставить 2 диска по 5TB в RAID1 = 5TB. Поскольку HDFS по умолчанию делает 3 копии(2 локально + 1 на другой DataNode) файла, то на 3-х DataNode мы получим HDFS размером 5TB.

-Действительно ли нужен RAID1 на DataNode ведь HDFS тоже заботится об избыточности(2 локально + 1 на другой DataNode)?

-Достаточно ли 3 DataNode с RAID1 по 5TB?

-Не хочется прогадать с объёмом оперативной памяти так как планирую попробывать Hive, HBase, может даже Impala..
На данный момент составил такую конфигурацию: 2 Name/Managment(c head процессами NameNode + Standby NameNode + JobTracker + Zookeeper + HBaseMaster etc.) и 3 Data/Worker(HDFS + Spark etc.):
Hardware конфигурация Data/Worker(3шт): xeon e5 6-cores, 64GB-96GB RAM, 2 disk RAID1 5TB, 2х1GbE network
Hardware конфигурация Name/Managment(2шт): xeon e5 6-cores, 96GB-128Gb RAM, 5 disk RAID5 1TB, 2х1GbE network
Буду рад услышать Ваши коментарии по каждой характеристики(особенно есть сомнения к объёму оперативной памяти).
Какие диски посоветуете для Name/Managment? 5 дисков на 1TB в RAID5 для Name/Managment достаточно/мало/много?, Сильно ли зависит производительность от кол. дисков на 1 ядро СPU и т.д?

[UNIm95]

nickolas_php: Про DataNode. Несовсем. Для удобства надо 2 RAID: Один системный в зеркале, другой JBOD для хранения данных. Для начальных кластеров, которые имеют не более 4 нод и их простой не критичен можно обойтись и одним managmen node. Позже, если hadoop понравиться, надо иметь минимум 3 managment node. Один с NameNode(и резервный Jobtracker), второй jobtracker(резервный NameNode), третий с rdbms, Gateway(node) интерфейсами. Посмотрите в сторону HP dl360 для managment и Apollo/SL4540 для Datanode

[UNIm95]

nickolas_php: А черт. в ManagmentNode нужны минимум 10к винчестеры, для DataNode пойдут и 7200