Автодобавление нод в hadoop, возможно ли это?

Question

[MicleI]

Тестю отказоустойчивость хадупа и возник такой вопрос:
У меня стоит мастер и 2 ноды, все хорошо работает

https://ibb.co/fe3zFd
Но, к примеру, у нас упала одна из нод (т.е. число репликаций снизится по идее), я правильно понимаю?
Можно ли сделать так, что после смерти одной из нод, автоматом подключалась/создавалась другая (с заранее введенными параметрами) и вся информация с других реплик (датанод) бы копировалась на нее.
И то же самое с мастером, если он умрет, то можно ли реализовать авто-подключение другого, с последующим копированием информации на него с secondarynamenode или же, к примеру, из неких бекапов?

Comments

[sim3x]

Загрузите картинку на хабрасторадж

Answer 1

[mossat]

"Но, к примеру, у нас упала одна из нод (т.е. число репликаций снизится по идее), я правильно понимаю?" - не совсем. Число репликаций только для тех блоков, которые хранились на данной ноде. Кроме того, практически сразу стартует репликация для потерянной ноды. Поэтому "...после смерти одной из нод, автоматом подключалась/создавалась другая (с заранее введенными параметрами) и вся информация с других реплик (датанод) бы копировалась на нее." - происходит и так, только для рабочих нод.
Резюмируя в этом нет необходимости.
Также количество StandBy NameNode и HBase Master устанавливается заранее и может быть более одного, двух, трех.