Linux集群技術(shù)概論
1 集群的定義
集群是一組協(xié)同工作的服務(wù)集合，用來提供比單一服務(wù)更穩(wěn)定、更高效、更具擴(kuò)展性的服務(wù)平臺，在外界看來，集群就是一個獨立的服務(wù)實體，但實際上，在集群的內(nèi)部，有兩個或兩個以上的服務(wù)實體在協(xié)調(diào)、配合完成一系列復(fù)雜的工作。
?集群一般有兩個或兩個以上的服務(wù)器組建而成，每個服務(wù)器被稱為一個集群節(jié)點，集群節(jié)點之間可以相互通信，通信的方式有兩種，一種是基于RS232線的心跳監(jiān)控，另一種是用一塊單獨的網(wǎng)卡來跑心跳，因而，集群具有節(jié)點間服務(wù)狀態(tài)監(jiān)控功能，同時還必須具有服務(wù)實體的擴(kuò)展功能，可以靈活的增加和剔除某個服務(wù)實體。
在集群中，同樣的服務(wù)可以由多個服務(wù)實體提供。因而，當(dāng)一個節(jié)點出現(xiàn)故障時，集群的另一個節(jié)點可以自動接管故障節(jié)點的資源，從而保證服務(wù)持久、不間斷運行。因而集群具有故障自動轉(zhuǎn)移功能。
?一個集群系統(tǒng)必須擁有共享的數(shù)據(jù)存儲，因為集群對外提供的服務(wù)是一致的，任何一個集群節(jié)點運行一個應(yīng)用時，應(yīng)用的數(shù)據(jù)都集中存儲在節(jié)點共享空間內(nèi)，而每個節(jié)點的操作系統(tǒng)上僅運行應(yīng)用的服務(wù)，同時存儲應(yīng)用程序文件。
綜上所述，構(gòu)建一個集群系統(tǒng)至少需要兩臺服務(wù)器，同時還需要有串口線、集群軟件、共享存儲設(shè)備（例如磁盤陣列）等。
基于Linux的集群以其極高的計算能力、可擴(kuò)展性、可用性及更加優(yōu)化的性價比在企業(yè)各種應(yīng)用中脫穎而出。 成為目前大家都關(guān)心的Linux應(yīng)用熱點，熟練掌握Linux集群知識，可以用低價格做出高性能的應(yīng)用。為企業(yè)、個人節(jié)省了成本。國內(nèi)大型網(wǎng)站新浪、網(wǎng)易等都采用了linux集群系統(tǒng)構(gòu)建高性能web應(yīng)用，著名搜索引擎google采用了上萬臺linux服務(wù)器組成了一個超大集群，這些實例都說明了集群在linux應(yīng)用中的地位和重要性。
2 集群的特點與功能
2.1 高可用性與可擴(kuò)展性
1．高可用性
?對于一些實時性很強(qiáng)的應(yīng)用系統(tǒng)，必須保證服務(wù)的24小時不間斷運行，而由于軟件、硬件、網(wǎng)絡(luò)、人為等各種原因，單一的服務(wù)運行環(huán)境很難達(dá)到這種要求，此時構(gòu)建一個集群系統(tǒng)是個不錯的選擇，構(gòu)建集群的一個最大優(yōu)點是集群具有高可用性，在服務(wù)出現(xiàn)故障時，集群系統(tǒng)可以自動將服務(wù)從故障節(jié)點切換到另一個備用節(jié)點，從而提供不間斷性服務(wù)，保證了業(yè)務(wù)的持續(xù)運行。
2．可擴(kuò)展性
?隨著業(yè)務(wù)量的加大，現(xiàn)有的集群服務(wù)實體不能滿足需求時，可以向此集群中動態(tài)的加入一個或多個服務(wù)節(jié)點，從而滿足應(yīng)用的需要，增強(qiáng)集群的整體性能。這就是集群的可擴(kuò)展性。
2.2 負(fù)載均衡與錯誤恢復(fù)
1．負(fù)載均衡
?集群系統(tǒng)最大的特點是可以靈活、有效的分擔(dān)系統(tǒng)負(fù)載，通過集群自身定義的負(fù)載分擔(dān)策略，將客戶端的訪問分配到下面的各個服務(wù)節(jié)點，例如，可以定義輪詢分配策略，將請求平均的分配到各個服務(wù)節(jié)點，還可以定義最小負(fù)載分配策略，當(dāng)一個請求進(jìn)來時，集群系統(tǒng)判斷哪個服務(wù)節(jié)點比較清閑，就將此請求分發(fā)到這個節(jié)點。
2．錯誤恢復(fù)
?當(dāng)一個任務(wù)在一個節(jié)點上還沒有完成時，由于某種原因，執(zhí)行失敗，此時，另一個服務(wù)節(jié)點應(yīng)該能接著完成此任務(wù)，這就是集群提供的錯誤恢復(fù)功能，通過錯誤的重定向，保證了每個執(zhí)行任務(wù)都能有效的完成。
2.3心跳檢測與漂移IP
1．心跳監(jiān)測
?為了能實現(xiàn)負(fù)載均衡、提供高可用服務(wù)和執(zhí)行錯誤恢復(fù)，集群系統(tǒng)提供了心跳監(jiān)測技術(shù)，心跳監(jiān)測是通過心跳線實現(xiàn)的，可以做心跳線的設(shè)備有RS 232串口線，也可以用獨立的一塊網(wǎng)卡來跑心跳，還可以是共享磁盤陣列等，心跳線的數(shù)量應(yīng)該為集群節(jié)點數(shù)減1，需要注意的是，如果通過網(wǎng)卡來做心跳的話，每個節(jié)點需要兩塊網(wǎng)卡，其中，一塊作為私有網(wǎng)絡(luò)直接連接到對方機(jī)器相應(yīng)的網(wǎng)卡，用來監(jiān)測對方心跳。另外一塊連接到公共網(wǎng)絡(luò)對外提供服務(wù)，同時心跳網(wǎng)卡和服務(wù)網(wǎng)卡的IP地址盡量不要在一個網(wǎng)段內(nèi)。心跳監(jiān)控的效率直接影響故障切換時間的長短，集群系統(tǒng)正是通過心跳技術(shù)保持著節(jié)點間的內(nèi)部有效通信。
2．漂移IP地址
?在集群系統(tǒng)中，除了每個服務(wù)節(jié)點自身的真實IP地址外，還存在一個漂移IP地址，為什么說是漂移IP呢，因為這個IP地址并不固定，例如在兩個節(jié)點的雙機(jī)熱備中，正常狀態(tài)下，這個漂移IP位于主節(jié)點上，當(dāng)主節(jié)點出現(xiàn)故障后，漂移IP地址自動切換到備用節(jié)點，因此，為了保證服務(wù)的不間斷性，在集群系統(tǒng)中，對外提供的服務(wù)IP一定要是這個漂移IP地址，雖然節(jié)點本身的IP也能對外提供服務(wù)，但是當(dāng)此節(jié)點失效后，服務(wù)切換到了另一個節(jié)點，但是服務(wù)IP仍然是故障節(jié)點的IP地址，此時，服務(wù)就隨之中斷。

3 集群的分類
3.1 高可用集群
1．高可用的概念
高可用集群的英文全稱是High Availability Cluster，簡稱HA Cluster， 高可用的含義是最大限度的可以使用，從集群的名字上可以看出，此類集群實現(xiàn)的功能是保障用戶的應(yīng)用程序持久、不間斷的提供服務(wù)。
當(dāng)應(yīng)用程序出現(xiàn)故障，或者系統(tǒng)硬件、網(wǎng)絡(luò)出現(xiàn)故障時，應(yīng)用可以自動、快速從一個節(jié)點切換到另一個節(jié)點，從而保證應(yīng)用持續(xù)、不間斷的對外提供服務(wù)，這就是高可用集群實現(xiàn)的功能，
2．常見的HA Cluster
我們常說的雙機(jī)熱備、雙機(jī)互備、多機(jī)互備等都屬于高可用集群的范疇，這類集群一般都有兩個或兩個以上節(jié)點組成。典型的雙機(jī)熱備結(jié)構(gòu)如圖1所示:

?
圖1?? 雙機(jī)熱備結(jié)構(gòu)
雙機(jī)熱備是最簡單的應(yīng)用模式，即經(jīng)常說的active/standby方式，它使用兩臺服務(wù)器，一臺作為主服務(wù)器（action），運行應(yīng)用程序?qū)ν馓峁┓?wù)，另一臺作為備機(jī)（standby），安裝和主服務(wù)器一樣的應(yīng)用程序，但是并不啟動服務(wù)，處于待機(jī)狀態(tài)。主機(jī)和備機(jī)之間通過心跳技術(shù)相互監(jiān)控，監(jiān)控的資源可以是網(wǎng)絡(luò)、操作系統(tǒng)、也可以是服務(wù)，用戶可以根據(jù)自己的需要，選擇需要監(jiān)控的資源，當(dāng)備機(jī)監(jiān)控到主機(jī)的某個資源出現(xiàn)故障時，根據(jù)預(yù)先設(shè)定好的策略，首先將IP切換過來，然后將應(yīng)用程序服務(wù)也接管過來，接著就由備機(jī)對外提供服務(wù)，由于切換過程時間非常端，用戶根本感覺不到程序出了問題，而且還進(jìn)行了切換，從而保障了應(yīng)用程序持久、不間斷的服務(wù)。
雙機(jī)互備是在雙機(jī)熱備的基礎(chǔ)上，兩個相互獨立的應(yīng)用在兩個機(jī)器上同時運行，互為主備，即兩臺服務(wù)器既是主機(jī)也是備機(jī)，當(dāng)任何一個應(yīng)用出現(xiàn)故障，另一臺服務(wù)器都能在短時間內(nèi)將故障機(jī)器的應(yīng)用接管過來，從而保障了服務(wù)的持續(xù)、無間斷運行。雙機(jī)互備的好處是節(jié)省了設(shè)備資源，兩個應(yīng)用的雙機(jī)熱備至少需要四臺服務(wù)器，而雙機(jī)互備僅需兩臺服務(wù)器即可完成高可用集群功能，但是雙機(jī)互備也有自身的缺點：在某個節(jié)點故障切換后，另一個節(jié)點上就同時運行了兩個應(yīng)用的服務(wù)，有可能出現(xiàn)負(fù)載過大的情況。
多機(jī)互備是雙機(jī)熱備的技術(shù)升級，通過多臺機(jī)器組成一個集群，可以在多臺機(jī)器之間設(shè)置靈活的接管策略，例如，某個集群環(huán)境有8臺服務(wù)器組成，3臺運行web應(yīng)用，3臺運行mail應(yīng)用，因而，可以將剩余的一臺作為3臺web服務(wù)器的備機(jī)，另一臺作為3臺mail服務(wù)器的備機(jī)，通過這樣的部署，合理充分的利用了服務(wù)器資源，同時也保證了系統(tǒng)的高可用性。
需要注意的是：高可用集群不能保證應(yīng)用程序數(shù)據(jù)的安全性，它僅僅解決的是對外提供持久不間斷的服務(wù)，把由于軟件、硬件、網(wǎng)絡(luò)、人為因素造成的故障而對應(yīng)用造成的影響降低到最底程度。
3．高可用集群軟件
高可用集群一般是通過高可用軟件來實現(xiàn)的，在linux下常用的高可用軟件有：開源heartbea HA、Redhat提供的RHCS、商業(yè)軟件ROSE、keepalived等。在下面的章節(jié)中我們會詳細(xì)介紹heartbea HA的配置和使用。
3.2 負(fù)載均衡集群
負(fù)載均衡系統(tǒng)的英文全稱為Load Balance Cluster，簡稱LB Cluster，負(fù)載均衡集群也是有兩臺或者兩臺以上的服務(wù)器組成，分為前端負(fù)載調(diào)度和后端節(jié)點服務(wù)兩個部分，負(fù)載調(diào)度部分負(fù)責(zé)把客戶端的請求按照不同的策略分配給后端服務(wù)節(jié)點，而后端節(jié)點是真正提供應(yīng)用程序服務(wù)的部分。
與HA Cluster不同的是，在負(fù)載均衡集群中，所有的后端節(jié)點都處于活動狀態(tài)，它們都對外提供服務(wù)，分?jǐn)傁到y(tǒng)的工作負(fù)載。
負(fù)載均衡集群可以把一個高負(fù)荷的應(yīng)用分散到多個節(jié)點來共同完成，適用于業(yè)務(wù)繁忙、大負(fù)荷訪問的應(yīng)用系統(tǒng)，但是它也有不足的地方：當(dāng)一個節(jié)點出現(xiàn)故障時，前端調(diào)度系統(tǒng)并不知道此節(jié)點已經(jīng)不能提供服務(wù)，仍然會把客戶端的請求調(diào)度到故障節(jié)點上來，這樣訪問就會失敗，為了解決這個問題，負(fù)載調(diào)度系統(tǒng)一般都引入了節(jié)點監(jiān)控系統(tǒng)。
節(jié)點監(jiān)控系統(tǒng)位于前端負(fù)載調(diào)度機(jī)上，負(fù)責(zé)監(jiān)控下面的服務(wù)節(jié)點，當(dāng)某個節(jié)點出現(xiàn)故障后，節(jié)點監(jiān)控系統(tǒng)會自動將故障節(jié)點從集群中剔除，當(dāng)此節(jié)點恢復(fù)正常后，節(jié)點監(jiān)控系統(tǒng)又會自動將其加入集群中，而這一切，對用戶來說是完全透明的。
圖2顯示了負(fù)載均衡集群的基本結(jié)構(gòu)：
?

圖2 負(fù)載均衡集群基本構(gòu)架
負(fù)載均衡集群可以通過軟件方式實現(xiàn)，也可以由硬件設(shè)備來完成，linux下典型的負(fù)載均衡軟件有：開源LVS集群、Oracle的RAC集群等，硬件負(fù)載均衡器有F5 Networks等。關(guān)于LVS集群，在下面的章節(jié)我們會進(jìn)行詳細(xì)講解。
3.3 科學(xué)計算集群
高性能計算(High Perfermance Computing)集群，簡稱HPC集群。這類集群致力于提供單個計算機(jī)所不能提供的強(qiáng)大的計算能力，包括數(shù)值計算和數(shù)據(jù)處理，并且傾向于追求綜合性能。HPC與超級計算類似，但是又有不同，計算速度是超級計算追求的第一目標(biāo)。最快的速度，最大的存儲，最龐大的體積，最昂貴的價格代表了超級計算的特點，隨著人們對計算速度需求的提高，超級計算也應(yīng)用到了各個領(lǐng)域，對超級計算追求單一計算速度指標(biāo)轉(zhuǎn)變?yōu)樽非蟾咝阅艿木C合指標(biāo)。即高性能計算。
HPC應(yīng)用領(lǐng)域非常廣泛，典型應(yīng)用有：生命科學(xué)研究、基因測試比對、數(shù)據(jù)挖掘應(yīng)用、石油和天然氣勘探、圖像呈現(xiàn)等。

?

本篇文章來源于鋒芒網(wǎng)( www.ixdba.net ) 原文鏈接： http://www.ixdba.net/a/lb/2010/0920/766.html

集群概述