Как выполнить mapreduce задачу при помощи hadoop-streaming?

Question

[Denis]

в гугл клауд я создал кластер.
вот так я пытаюсь выполнить mapreduce задачу

denislysenko0001@cluster-a315-m:~$ $HADOOP_HOME/bin/hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar \
> -D mapred.map.tasks=1 \
> -D mapred.reduce.tasks=1 \
> -input /movies.csv \
> -output /result \
> -file ~/mapreduce_hadoop/homework5/mapreduce_hadoop/mapper.py ~/mapreduce_hadoop/homework5/mapreduce_hadoop/reducer.py \
> -mapper "python mapper.py" -reducer "python reducer.py"
JAR does not exist or is not a normal file: /usr/lib/hadoop-mapreduce/hadoop-streaming.jar

но выскакивает ошибка JAR does not exist or is not a normal file: /usr/lib/hadoop-mapreduce/hadoop-streaming.jar

как это исправить?

Если это важно, то вот что выводит hdfs dfs -ls /

denislysenko0001@cluster-a315-m:~$ hdfs dfs -ls /
Found 4 items
-rw-r--r--   2 denislysenko0001 hadoop     484688 2021-11-27 18:58 /movies.csv
drwxrwxrwt   - hdfs             hadoop          0 2021-11-26 20:30 /tmp
drwxrwxrwt   - hdfs             hadoop          0 2021-11-27 15:15 /user
drwx-wx-wx   - hive             hadoop          0 2021-11-26 20:30 /var
denislysenko0001@cluster-a315-m:~$

Comments

[Cheypnow]

Нужно указать корректный путь к hadoop-streaming.jar.
Судя по ошибке по пути /usr/lib/hadoop-mapreduce/hadoop-streaming.jar его нет.