Какой пример каталога с файлами возможно задать для модуля python, которым возможно подключаться удаленно к HDFS?

Question

[Николай Бараненко]

Здравствуйте.

пытаюсь использовать такой код

from pywebhdfs.webhdfs import PyWebHdfsClient
from pprint import pprint

hdfs = PyWebHdfsClient(host='192.168.0.70',port='50070', user_name='hadoop')  # your Namenode IP & username here
my_dir = 'logs'
pprint(hdfs.list_dir(my_dir))

возвращается ошибка о том, что такого каталога нет

Traceback (most recent call last):
  File "D:/Server/Repositories/projects/um/templates/Test/hdfs.py", line 6, in <module>
    pprint(hdfs.list_dir(my_dir))
  File "C:\Python36\lib\site-packages\pywebhdfs\webhdfs.py", line 482, in list_dir
    _raise_pywebhdfs_exception(response.status_code, response.content)
  File "C:\Python36\lib\site-packages\pywebhdfs\webhdfs.py", line 718, in _raise_pywebhdfs_exception
    raise errors.FileNotFound(msg=message)
pywebhdfs.errors.FileNotFound: b'{"RemoteException":{"exception":"FileNotFoundException","javaClassName":"java.io.FileNotFoundException","message":"File /app/dfs/name/data does not exist."}}'

папка с dfs лежит здесь

/app/dfs/name/data

webhdfs сервис активировал

<configuration>
# Add the following inside the configuration tag
<property>
        <name>dfs.data.dir</name>
        <value>/app/dfs/name/data</value>
        <final>true</final>
</property>
<property>
        <name>dfs.name.dir</name>
        <value>/app/dfs/name</value>
        <final>true</final>
</property>
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
</configuration>

Какой пример каталога с файлами возможно задать для модуля python, которым возможно подключаться удаленно к HDFS?

Answer 1

[Николай Бараненко]

сначала нужно создать папку к примеру /examples и туда put файл Reutov_mos_obl.csv и потом уже к нему обращаться

from pywebhdfs.webhdfs import PyWebHdfsClient
from pprint import pprint


hdfs = PyWebHdfsClient(host='hadoop01',port='50070', user_name='hadoop')  # your Namenode IP & username here
my_dir = '/examples/Reutov_mos_obl.csv'
pprint(hdfs.list_dir(my_dir))