環(huán)境：安裝了pyenv，pip
pyenv global 3.6.8

pip install hdfs
pip install ipython ?(個人喜歡使用pyenv的自動補全功能)
安裝完hdfs后建議重啟，測試過程出現(xiàn)了hdfs模塊找不到的情況
注意：客戶端分為Client和InsecureClient，Client需要驗證權(quán)限

            
              In [1]: from hdfs import InsecureClient ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
In [2]: client_hdfs = InsecureClient('http://192.168.4.86:9870',user='hdfs') ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
In [3]: client_hdfs.list('/') ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
Out[3]: ['dongsc', 'hbase', 'tmp', 'user']
In [4]: client_hdfs.makedirs('/dongsc2') ?
In [6]: client_hdfs.delete('/dongsc',recursive='true') ? ? ? --recursive：是否允許遞歸刪除 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
Out[6]: True
            
          

假如想使用Client添加對權(quán)限的認證，需要修改授權(quán)，將root用戶添加進ACLs中
Client模塊下，盡管當前用戶是root，但是hadoop 里的hdfs是另外一套文件系統(tǒng)了，root在里面是沒有權(quán)限的。
上傳文件時需要注意：
客戶端（運行python的機器）必須要有NameNode和DataNode的解析，可以是DNS，也可以是/etc/hosts，否則會出現(xiàn)：

            
              。。。。。。。。。。。。。。。省略，下面是報錯的最后一句。。。。
/usr/local/lib/python3.6/site-packages/urllib3/connection.py in _new_conn(self)
? ? 167 ? ? ? ? except SocketError as e:
? ? 168 ? ? ? ? ? ? raise NewConnectionError(
--> 169 ? ? ? ? ? ? ? ? self, "Failed to establish a new connection: %s" % e)
? ? 170?
? ? 171 ? ? ? ? return conn
NewConnectionError: 
              
                : Failed to establish a new connection: [Errno -2] Name or service not known
              
            
          

?