來自： http://www.csdn.net/article/2012-07-03/2807066
HDFS （Hadoop Distributed Filesystem） 客戶端通過被稱之為Namenode單服務器節點執行文件系統原數據操作，同時DataNode會與其他DataNode進行通信并復制數據塊以實現冗余，這樣單一的DataNode損壞不會導致集群的數據丟失。
但NameNode出現故障的損失確是無法容忍的，NameNode主要職責是 跟蹤文件如何被分割成文件塊、文件塊又被哪些節點存儲，以及分布式文件系統的整體運行狀態是否正常等， 如果NameNode節點停止運行的話將會導致數據節點無法通信，客戶端無法讀取和寫入數據到HDFS，實際上這也將導致整個系統停止工作。
The HDFS Namenode is a single point of failure (SPOF)
Facebook也深知“Namenode-as-SPOF”所帶來問題的嚴重性，所以Facebook希望建立一套系統已破除“Namenode-as-SPOF”帶來的隱患。但在了解這套系統之前，首先來看一下 Facebook在使用和部署HDFS都遇到了哪些問題。
Facebook數據倉庫的使用情況
在Facebook的數據倉庫中部署著最大的HDFS集群，數據倉庫的使用情況是傳統的Hadoop MapReduce工作負載——在大型集群中一小部分運行MapReduce批處理作業
因為集群非常龐大，客戶端和眾多DataNode節點與NameNode節點傳輸海量的原數據，這導致NameNode的負載非常沉重。而來自CPU、內存、磁盤和網絡帶來的壓力也使得數據倉庫集群中NameNode高負載狀況屢見不鮮。在使用過程中Facebook發現其數據倉庫中由于HDFS引發的故障占總故障率的41%。
HDFS NameNode是HDFS中的重要組成部分，同時也是整個數據倉庫中的重要組成部分。雖然高可用的NameNode只可以預防數據倉庫10%的計劃外停機，不過消除NameNode對于SPOF來說可謂是重大的勝利，因為這使得Facebook可執行預訂的硬件和軟件回復。事實上，Facebook預計如果解決NameNode可消除集群50%的計劃停機時間。
那么高可用性NameNode是什么樣子的？它將如何工作？讓我們來看一下高度可用性NameNode的圖表。
（tenfy：本質是對namenode增加兩個熱冗余，對clients來說可以同時進行訪問，對datanode來說，也同時對primaryNameNode和standbyNameNode進行通訊）
在此結構中，客戶端可與Primary NameNode與Standby NameNode通信，同樣眾多DataNode 也具備給Primary NameNode與Standby NameNode發送block reports的能力。
實質上Facebook所研發的AvatarNode就是具備高可用NameNode的解決方案。
Avatarnode：具備NameNode故障轉移的解決方案
為了解決單NameNode節點的設計缺陷，大約在兩年前Facebook開始在內部使用AvatarNode工作。
同時AvatarNode提供了高可用性的NameNode以及熱故障切換和回滾功能，目前Facebook已經將AvatarNode貢獻到了開源社區。經過無數次的測試和Bug修復，AvatarNode目前已在Facebook最大的Hadoop數據倉庫中穩定運行。在這里很大程度上要感謝Facebook的工程師 Dmytro Molkov 。
當發生故障時， AvatarNode的兩個高可用NameNode節點可手動故障轉移 。AvatarNode將現有的NameNode代碼打包并放置在Zookeeper層。
AvatarNode的基本概念如下：
1.具備Primary NameNode與Standby NameNode
2.當前Master主機名保存在ZooKeeper之中
3.改進的DataNode同時發送block reports到Primary NameNode與Standby NameNode
4.改進的HDFS客戶端將在每個事物開始之前對Zookeeper進行檢查，如果失敗會轉移到另外的事務之中。同時如果AvatarNode故障轉移出現在寫入的過程中，AvatarNode的機制將允許保證完整的數據寫入。
Avatarnode客戶端
Avatarnode DataNode
或許有人會Facebook這一解決方案的名字感到好奇，這是因為Facebook的Hadoop工程師 Dhruba Borthakur 來到公司時正好是James Cameron《阿凡達》電影熱映時間。（我們應該感到慶幸，如果是1998年的話或許應該叫TitanicNode了）。
AvatarNode經受住了Facebook內部最苛刻的工作環境，未來Facebook將繼續大幅度改善AvatarNode的可靠性和HDFS集群的管理性。并整合與一般高可用性框架的整合，還將實現無人值守、自動化與安全故障轉移等特性。
Facebook已將自身使用的Hadoop與AvatarNode解決方案托管到 GitHub 。感興趣的朋友可下載研究。
當然不止Facebook在試圖解決Hadoop的缺陷，MapR和Cloudera的產品也具備相似的能力。（李智/編譯）
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
