Ответы пользователя по тегу Hadoop
  • Hadoop: почему не получается запустить MapReduce задачу?

    martsen
    @martsen
    Программист-дроновод
    Привожу рабочие конфиги для кластера hadoop 2.2.0 с узлами master и slave:
    etc/hadoop/core-site.xml
    <configuration>
    	<property>
    		<name>fs.defaultFS</name>
    		<value>hdfs://master:9000</value>
    	</property>
    </configuration>


    etc/hadoop/hdfs-site.xml
    <configuration>
    	<property>
    		<name>dfs.replication</name>
    		<value>2</value>
    	</property>
    	<property>
    		<name>dfs.namenode.name.dir</name>
    		<value>file:/usr/local/hadoop/tmp/hdfs/namenode</value>
    	</property>
    	<property>
    		<name>dfs.datanode.data.dir</name>
    		<value>file:/usr/local/hadoop/tmp/hdfs/datanode</value>
    	</property>
    </configuration>


    etc/hadoop/mapred-site.xml
    <configuration>
    	<property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    	</property>
    </configuration>


    etc/hadoop/yarn-site.xml
    <configuration>
    	<property>
    		<name>yarn.nodemanager.aux-services</name>
    		<value>mapreduce_shuffle</value>
    	</property>
    	<property>
    		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
    	</property>
    	<property>
    		<name>yarn.resourcemanager.scheduler.address</name>
    		<value>master:8030</value>
    	</property>
    	<property>
    		<name>yarn.resourcemanager.address</name>
    		<value>master:8032</value>
    	</property>
    	<property>
    		<name>yarn.resourcemanager.webapp.address</name>
    		<value>master:8088</value>
    	</property>
    	<property>
    		<name>yarn.resourcemanager.resource-tracker.address</name>
    		<value>master:8031</value>
    	</property>
    	<property>
    		<name>yarn.resourcemanager.admin.address</name>
    		<value>master:8033</value>
    	</property>
    </configuration>


    Также убедитесь, что у вас все в порядке с файлом /etc/hosts
    Ответ написан
    2 комментария
  • Hadoop: почему не получается запустить MapReduce задачу?

    martsen
    @martsen
    Программист-дроновод
    Столкнулся с такой же проблемой. Вы сразу создавали кластер из несколькоих виртуалок? Пробовали запускать в псевдораспределенном режиме с одним узлом? У меня так работает.
    Сейчас я немного перенастраиваю кластер и вечером подробнее напишу вам, смог ли я побороть эту проблему. Ну и напишу решение.
    Ответ написан
    Комментировать