@denislysenko

Как выполнить mapreduce задачу при помощи hadoop-streaming?

в гугл клауд я создал кластер.
вот так я пытаюсь выполнить mapreduce задачу
denislysenko0001@cluster-a315-m:~$ $HADOOP_HOME/bin/hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar \
> -D mapred.map.tasks=1 \
> -D mapred.reduce.tasks=1 \
> -input /movies.csv \
> -output /result \
> -file ~/mapreduce_hadoop/homework5/mapreduce_hadoop/mapper.py ~/mapreduce_hadoop/homework5/mapreduce_hadoop/reducer.py \
> -mapper "python mapper.py" -reducer "python reducer.py"
JAR does not exist or is not a normal file: /usr/lib/hadoop-mapreduce/hadoop-streaming.jar


но выскакивает ошибка JAR does not exist or is not a normal file: /usr/lib/hadoop-mapreduce/hadoop-streaming.jar

как это исправить?

Если это важно, то вот что выводит hdfs dfs -ls /
denislysenko0001@cluster-a315-m:~$ hdfs dfs -ls /
Found 4 items
-rw-r--r--   2 denislysenko0001 hadoop     484688 2021-11-27 18:58 /movies.csv
drwxrwxrwt   - hdfs             hadoop          0 2021-11-26 20:30 /tmp
drwxrwxrwt   - hdfs             hadoop          0 2021-11-27 15:15 /user
drwx-wx-wx   - hive             hadoop          0 2021-11-26 20:30 /var
denislysenko0001@cluster-a315-m:~$
  • Вопрос задан
  • 43 просмотра
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
17 янв. 2022, в 02:06
1000 руб./в час
17 янв. 2022, в 01:18
12000 руб./за проект
16 янв. 2022, в 23:57
5000 руб./за проект