黄色网页视频 I 影音先锋日日狠狠久久 I 秋霞午夜毛片 I 秋霞一二三区 I 国产成人片无码视频 I 国产 精品 自在自线 I av免费观看网站 I 日本精品久久久久中文字幕5 I 91看视频 I 看全色黄大色黄女片18 I 精品不卡一区 I 亚洲最新精品 I 欧美 激情 在线 I 人妻少妇精品久久 I 国产99视频精品免费专区 I 欧美影院 I 欧美精品在欧美一区二区少妇 I av大片网站 I 国产精品黄色片 I 888久久 I 狠狠干最新 I 看看黄色一级片 I 黄色精品久久 I 三级av在线 I 69色综合 I 国产日韩欧美91 I 亚洲精品偷拍 I 激情小说亚洲图片 I 久久国产视频精品 I 国产综合精品一区二区三区 I 色婷婷国产 I 最新成人av在线 I 国产私拍精品 I 日韩成人影音 I 日日夜夜天天综合

python 操作CDH的HDFS

系統 2221 0

環境:安裝了pyenv,pip
pyenv global 3.6.8

pip install hdfs
pip install ipython ?(個人喜歡使用pyenv的自動補全功能)
安裝完hdfs后建議重啟,測試過程出現了hdfs模塊找不到的情況
注意:客戶端分為Client和InsecureClient,Client需要驗證權限

            
              In [1]: from hdfs import InsecureClient ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
In [2]: client_hdfs = InsecureClient('http://192.168.4.86:9870',user='hdfs') ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
In [3]: client_hdfs.list('/') ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
Out[3]: ['dongsc', 'hbase', 'tmp', 'user']
In [4]: client_hdfs.makedirs('/dongsc2') ?
In [6]: client_hdfs.delete('/dongsc',recursive='true') ? ? ? --recursive:是否允許遞歸刪除 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
Out[6]: True
            
          


假如想使用Client添加對權限的認證,需要修改授權,將root用戶添加進ACLs中
Client模塊下,盡管當前用戶是root,但是hadoop 里的hdfs是另外一套文件系統了,root在里面是沒有權限的。
上傳文件時需要注意:
客戶端(運行python的機器)必須要有NameNode和DataNode的解析,可以是DNS,也可以是/etc/hosts,否則會出現:

            
              。。。。。。。。。。。。。。。省略,下面是報錯的最后一句。。。。
/usr/local/lib/python3.6/site-packages/urllib3/connection.py in _new_conn(self)
? ? 167 ? ? ? ? except SocketError as e:
? ? 168 ? ? ? ? ? ? raise NewConnectionError(
--> 169 ? ? ? ? ? ? ? ? self, "Failed to establish a new connection: %s" % e)
? ? 170?
? ? 171 ? ? ? ? return conn
NewConnectionError: 
              
                : Failed to establish a new connection: [Errno -2] Name or service not known
              
            
          

?


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論