Как проверить состояние slave нод кластера hadoop?

Question

[Николай Бараненко]

Здравствуйте.

У меня есть 3 виртуалки на CentOS 7 c hadoop

hadoop01 - master
hadoop02 - slave1
hadoop03 - slave2

стартую master

[hadoop@hadoop01 ~]$ hadoop-daemon.sh --config /app/hadoop/etc/hadoop --script hdfs start namenode
starting namenode, logging to /app/hadoop/logs/hadoop-hadoop-namenode-hadoop01.out
[hadoop@hadoop01 ~]$ hadoop-daemon.sh --config /app/hadoop/etc/hadoop --script hdfs start datanode
starting datanode, logging to /app/hadoop/logs/hadoop-hadoop-datanode-hadoop01.out
[hadoop@hadoop01 ~]$ start-dfs.sh
17/10/13 23:43:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [hadoop01]
hadoop01: namenode running as process 28467. Stop it first.
hadoop03: starting datanode, logging to /app/hadoop/logs/hadoop-hadoop-datanode-hadoop03.out
hadoop02: starting datanode, logging to /app/hadoop/logs/hadoop-hadoop-datanode-hadoop02.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /app/hadoop/logs/hadoop-hadoop-secondarynamenode-hadoop01.out
17/10/13 23:43:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[hadoop@hadoop01 ~]$ yarn-daemon.sh --config /app/hadoop/etc/hadoop  start resourcemanager
starting resourcemanager, logging to /app/hadoop/logs/yarn-hadoop-resourcemanager-hadoop01.out
[hadoop@hadoop01 ~]$ yarn-daemon.sh --config /app/hadoop/etc/hadoop  start nodemanager
starting nodemanager, logging to /app/hadoop/logs/yarn-hadoop-nodemanager-hadoop01.out
[hadoop@hadoop01 ~]$ yarn-daemon.sh --config /app/hadoop/etc/hadoop  start proxyserver
starting proxyserver, logging to /app/hadoop/logs/yarn-hadoop-proxyserver-hadoop01.out
[hadoop@hadoop01 ~]$ start-yarn.sh
starting yarn daemons
resourcemanager running as process 29000. Stop it first.
hadoop02: starting nodemanager, logging to /app/hadoop/logs/yarn-hadoop-nodemanager-hadoop02.out
hadoop03: starting nodemanager, logging to /app/hadoop/logs/yarn-hadoop-nodemanager-hadoop03.out
[hadoop@hadoop01 ~]$ mr-jobhistory-daemon.sh --config /app/hadoop/etc/hadoop start historyserver
starting historyserver, logging to /app/hadoop/logs/mapred-hadoop-historyserver-hadoop01.out

получаю результат

[hadoop@hadoop01 ~]$ jps
29520 JobHistoryServer
29249 NodeManager
28467 NameNode
29557 Jps
29000 ResourceManager
28555 DataNode
28862 SecondaryNameNode

проверяю через web
hadoop01:8088/cluster/nodes

там одна единственная запись
Cluster Metrics

/default-rack	RUNNING	hadoop01:46648	hadoop01:8042	Сб окт 14 01:52:45 +0300 2017		0	0 B	8 GB	0	8	2.8.1
Showing 1 to 1 of 1 entries

также и по
hadoop01:50070/dfshealth.html#tab-datanode

тоже информация только по мастеру

Node	Http Address	Last contact	Capacity	Blocks	Block pool used	Version
hadoop01:50010 (192.168.0.70:50010)	hadoop01:50075	2s	
64.98 GB
0	8 KB (0%)	2.8.1

правильно ли что отображается только информация о мастере или все-таки должна быть информация и о slave?

Answer 1

[Yo!]

из консоли можно посмотреть что там у hdfs:
hdfs dfsadmin -report

что за дистрибутив хадупа ? по хорошему нужно идти в cloudera manager, ambari или что там у вашего дистра для адинистрирования и смотреть там состояние сервисов.

Comments

[Николай Бараненко]

hadoop 2.8.1

возвращает

[hadoop@hadoop01 network-scripts]$ hdfs dfsadmin -report
17/10/17 14:06:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Configured Capacity: 69775908864 (64.98 GB)
Present Capacity: 65679843328 (61.17 GB)
DFS Remaining: 65679745024 (61.17 GB)
DFS Used: 98304 (96 KB)
DFS Used%: 0.00%
Under replicated blocks: 2
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 192.168.0.70:50010 (hadoop01)
Hostname: hadoop01
Decommission Status : Normal
Configured Capacity: 69775908864 (64.98 GB)
DFS Used: 98304 (96 KB)
Non DFS Used: 4096065536 (3.81 GB)
DFS Remaining: 65679745024 (61.17 GB)
DFS Used%: 0.00%
DFS Remaining%: 94.13%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Oct 17 14:06:09 MSK 2017

slave я так понимаю, должны также появиться в этом отчете?

[Yo!]

Николай Бараненко,
я не слышал что бы у хадупа были какие-то слейвы. есть роли NameNode/SecondaryNameNode, есть datanode. у тебя похоже настроена единственная datanode на hadoop01 with replication factor 1
т.е. hadoop02, hadoop03 никак не задействованы.

[Николай Бараненко]

1 namenode - master
2 datanode - slave

[Yo!]

Николай Бараненко,
hadoop02, hadoop03 никак не задействованы. выглядит что кластер об их существовании не подозревает