Задать вопрос
@denislysenko
data engineer

Как скачать папку на кластер в терминале google cloud?

У меня есть небольшой проект mapreduce, он лежит на гугл диске:
https://drive.google.com/drive/folders/1GJRiKKFULa...

В гугл кладут я создал кластер, и теперь мне нужно при помощи хадуп стриминг джар, запустить этот проект. Для этого мне нужно скачать эту папку на кластер или на виртуальную машину, короче я не силен в этих терминах, но на сколько я понимаю мне нужно поместить эту папку в hdfs
я пытаюсь скачать эту папку таким образом:
denislysenko@cluster-a315-m:~$ wget https://drive.google.com/drive/folders/1GJRiKKFULanZTnFsBN-w9XsluVqVkrDS?usp=sharing 
--2021-11-27 13:09:30--  https://drive.google.com/drive/folders/1GJRiKKFULanZTnFsBN-w9XsluVqVkrDS?usp=sharing
Resolving drive.google.com (drive.google.com)... 142.251.6.102, 142.251.6.139, 142.251.6.138, ...
Connecting to drive.google.com (drive.google.com)|142.251.6.102|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: '1GJRiKKFULanZTnFsBN-w9XsluVqVkrDS?usp=sharing'

1GJRiKKFULanZTnFsBN-w9XsluVqVkrDS?usp=s     [  <=>                                                                         ] 233.44K   878KB/s    in 0.3s    

2021-11-27 13:09:31 (878 KB/s) - '1GJRiKKFULanZTnFsBN-w9XsluVqVkrDS?usp=sharing' saved [239040]

denislysenko@cluster-a315-m:~$ 
denislysenko@cluster-a315-m:~$ ls
'1GJRiKKFULanZTnFsBN-w9XsluVqVkrDS?usp=sharing'
denislysenko@cluster-a315-m:~$


результатом является вот это '1GJRiKKFULanZTnFsBN-w9XsluVqVkrDS?usp=sharing'
но это не моя папку с проектом,
Каким образом я могу скачать эту папку из консоли гугл клауд?
  • Вопрос задан
  • 120 просмотров
Подписаться 1 Средний 1 комментарий
Решения вопроса 1
Скорее всего то, что вы скачали - zip архив, попробуйте переименовать (для удобства) и попробовать сделать unzip, если распакуется - будет содержимое вашей папки, а если нет, то скорее всего это html страничка
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы