Yo!

ответил в прошлой теме Как проверить состояние slave нод кластера hadoop?

из консоли можно посмотреть что там у hdfs:
hdfs dfsadmin -report

что за дистрибутив хадупа ? по хорошему нужно идти в cloudera manager, ambari или что там у вашего дистра для адинистрирования и смотреть там состояние сервисов.

сайнтист тот кто сам может написать алгоритмы ML, инженер тот кто юзает готовые. соответственно надо ориентироваться в алгоритмах кластеризации, ML и прочая. неплохо бы посмотреть SAS dataminer и ориентироваться в его наворотах, иметь представление о PMML https://en.wikipedia.org/wiki/Predictive_Model_Mar...