-
HDFS的設計目標
- 檢測以及快速恢復硬件問題.
- 流式的數(shù)據(jù)訪問.
- 移動計算比移動數(shù)據(jù)的代價小.
- 簡化一致性模型.
- 超大規(guī)模數(shù)據(jù)集
- 異構軟硬件平臺之間的可移植性.
-
HDFS的結構模型
HDFS是一個主從的結構模型.一個HDFS集群是由一個NameNode和若干個DataNode組成.NameNode主節(jié)點是主服務器.管理文件系統(tǒng)的命名空間和和客戶端對文件的訪問操作.DataNode是集群中的一般節(jié)點.負責數(shù)據(jù)的存儲.客戶端通過NameNode
向DataNode節(jié)點交換訪問文件系統(tǒng).聯(lián)系NameNode獲取文件元數(shù).文件I/O操作直接和NameCode進行交互.從數(shù)據(jù)的內(nèi)部看文件被分為若干個數(shù)據(jù)塊.典型數(shù)據(jù)塊的大小為 64MB. 假設如果客戶端要訪問一個文件。首先,客戶端從NameNode中獲得
組成文件的數(shù)據(jù)塊位置的列表,即知道數(shù)據(jù)塊存儲在哪些DateNode 中;然后客戶端直接從DataNode上讀取文件數(shù)據(jù).NameNode不參與文件傳輸.NameNode 是HDFS的守護程序。主要負責大數(shù)據(jù)文件如何被分割成數(shù)據(jù)塊。被分割后的數(shù)據(jù)塊分別為存儲在哪些DataNode的數(shù)據(jù)節(jié)點上.
NameNode負責維護文件系統(tǒng)的命名空間.任何對文件系統(tǒng)的名稱空間或屬性的修改都將被NameNode記錄下來.
-
數(shù)據(jù)的復制與存放
HDFS是在大集群中跨機器可靠地存儲超大文件. 他將每一個文件存儲成一系列的數(shù)據(jù)塊.
?(1)數(shù)據(jù)的復制- 文件的所有的數(shù)據(jù)塊都有副本,這樣可以提高數(shù)據(jù)的容錯性.應用程序可以指定某個文件的副本數(shù)量.HDFS中的文件都是一次性寫入。并且在任何時候只有一個寫入者.NameNode管理數(shù)據(jù)的復制,采用周期性的從集群中的每一個DataNode中接受心跳信號可塊狀報告。如果接受到心跳報告說明DataNde正常.
- 副本的存放是NDFS可靠性和性能的關鍵
?
?
更多文章、技術交流、商務合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
