業(yè)界對(duì)云計(jì)算的定義多種多樣,不過(guò),從公認(rèn)的幾種云計(jì)算模型看,存儲(chǔ)是無(wú)論如何也繞不開的基礎(chǔ)支撐組件,云存儲(chǔ)作為云計(jì)算服務(wù)的分支之一,更是把存儲(chǔ)提到了首要的位置。與此同時(shí),能夠在底層架構(gòu)中很好的解決存儲(chǔ)問(wèn)題的供應(yīng)商恐怕并不多,要實(shí)現(xiàn)云計(jì)算,存儲(chǔ)還面臨諸多瓶頸。
在一次Intel組織的媒體訓(xùn)練營(yíng)上,Intel(中國(guó))有限公司服務(wù)器平臺(tái)產(chǎn)品經(jīng)理張振宇就曾表示:“今天談云計(jì)算以及云架構(gòu)中的虛擬化,存儲(chǔ)是非常困難的問(wèn)題。”
解決非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)難題
在Intel規(guī)劃的云存儲(chǔ)系統(tǒng)中,把用戶實(shí)際的存儲(chǔ)需求分成了兩種類型,也就是我們所謂的結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)。
結(jié)構(gòu)化數(shù)據(jù)一般都存儲(chǔ)在數(shù)據(jù)庫(kù)中,通常又被叫做數(shù)據(jù)庫(kù)數(shù)據(jù),通常企業(yè)的關(guān)鍵業(yè)務(wù)應(yīng)用,如Oracle、SAP等應(yīng)用中往往基于這種類型的數(shù)據(jù)。這類型數(shù)據(jù)可以用數(shù)據(jù)庫(kù)的二維表結(jié)構(gòu)邏輯來(lái)表達(dá)與實(shí)現(xiàn),每一次讀取的數(shù)據(jù)塊往往并不大,一般為4K或者8K,但是讀寫往往會(huì)非常頻繁,由于每次讀寫都會(huì)帶來(lái)硬盤磁頭換道尋址的讀寫延時(shí),因此傳統(tǒng)的存儲(chǔ)系統(tǒng)往往采用了大規(guī)模并發(fā)、以及大量的讀寫優(yōu)化來(lái)保障結(jié)構(gòu)化數(shù)據(jù)的存取需求。
此外,擔(dān)當(dāng)企業(yè)關(guān)鍵業(yè)務(wù)應(yīng)用的數(shù)據(jù)存儲(chǔ)基石,數(shù)據(jù)安全性一定要保障,也因此,為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)而設(shè)計(jì)的存儲(chǔ)系統(tǒng)也往往采用大量的數(shù)據(jù)安全保護(hù)措施,保障企業(yè)關(guān)鍵業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)安全。
衡量數(shù)據(jù)庫(kù)讀寫性能的IOPS性能指標(biāo)一度成為企業(yè)存儲(chǔ)系統(tǒng)設(shè)計(jì)所追求的極致,然而隨著云計(jì)算日益走向普及應(yīng)用,社交網(wǎng)絡(luò)興起,到如今移動(dòng)互聯(lián)網(wǎng)與物聯(lián)網(wǎng)蓬勃發(fā)展,用戶突然發(fā)現(xiàn),過(guò)去的結(jié)構(gòu)化的數(shù)據(jù)在向非結(jié)構(gòu)化與半結(jié)構(gòu)化發(fā)展,大數(shù)據(jù)成為對(duì)傳統(tǒng)IT系統(tǒng)的另一個(gè)挑戰(zhàn)。
上圖為IDC發(fā)布的2010年至2014年間數(shù)據(jù)增長(zhǎng)趨勢(shì)預(yù)測(cè),其中,最底下的黃色數(shù)據(jù)塊代表傳統(tǒng)企業(yè)數(shù)據(jù)庫(kù)所產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)量,年增長(zhǎng)率僅為23.6%;黃色數(shù)據(jù)之上的紅色數(shù)據(jù),代表企業(yè)系統(tǒng)中的備份以及數(shù)據(jù)倉(cāng)庫(kù)等產(chǎn)生的備份數(shù)據(jù),從圖中可看到,其增長(zhǎng)趨勢(shì)并不明顯,年增長(zhǎng)率為24.2%;紅色數(shù)據(jù)之上的灰色數(shù)據(jù)塊代表歸檔等非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)趨勢(shì),在圖中可看到明顯的上升,年增長(zhǎng)率達(dá)到了54.8%;最上面的綠色部分增長(zhǎng)最快,這部分?jǐn)?shù)據(jù)的年增長(zhǎng)率甚至達(dá)到了75.6%,這部分?jǐn)?shù)據(jù)來(lái)自于內(nèi)容倉(cāng)庫(kù),具體包括了Web、電子郵件、社交網(wǎng)絡(luò)、文檔共享等應(yīng)用產(chǎn)生的各種各樣的文件數(shù)據(jù)。
三大云存儲(chǔ)解決方案
隨著數(shù)據(jù)宇宙的爆炸式增長(zhǎng),傳統(tǒng)為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)而設(shè)計(jì)的存儲(chǔ)系統(tǒng),已經(jīng)無(wú)法應(yīng)付云平臺(tái)系統(tǒng)龐大的數(shù)據(jù)存儲(chǔ)需求,在此背景下,集群存儲(chǔ)迎來(lái)其發(fā)展高峰。
集群存儲(chǔ)通過(guò)并發(fā)的分布式文件系統(tǒng)與算法,工作負(fù)載分布到集群中各節(jié)點(diǎn)的存儲(chǔ)方式,各集群存儲(chǔ)的節(jié)點(diǎn)相互配合并統(tǒng)一作戰(zhàn),因而達(dá)到了1 1>2的效果,同時(shí)集群存儲(chǔ)提供單一的使用接口與界面,使用戶可以方便地對(duì)所有數(shù)據(jù)進(jìn)行統(tǒng)一使用與管理。對(duì)于集群存儲(chǔ)來(lái)說(shuō),單個(gè)的數(shù)據(jù)節(jié)點(diǎn)是其上分布式文件系統(tǒng)以及管理軟件的硬件基礎(chǔ),其性能與可靠性直接影響到了存儲(chǔ)系統(tǒng)平臺(tái)的整體性能。
針對(duì)不同的云存儲(chǔ)環(huán)境中非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用,Intel提出了三大不同的針對(duì)應(yīng)用優(yōu)化的解決方案。
一、 較大的對(duì)象存儲(chǔ)使用模式
對(duì)象存儲(chǔ)一般用于內(nèi)容倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ),通常Web、電子郵件、社交網(wǎng)絡(luò)、文檔共享系統(tǒng)中通常會(huì)采用對(duì)象存儲(chǔ)模式來(lái)存儲(chǔ)大量的文件數(shù)據(jù)。這類型存儲(chǔ)需求對(duì)系統(tǒng)性能要求總體而言并不嚴(yán)格,但同樣要求一定的響應(yīng)時(shí)間和反應(yīng)速度。此外,考慮到系統(tǒng)的規(guī)模化建設(shè),整體系統(tǒng)對(duì)系統(tǒng)能耗、成本方面都會(huì)進(jìn)行一定的均衡。
針對(duì)對(duì)象存儲(chǔ)對(duì)節(jié)點(diǎn)硬件設(shè)計(jì)的需求,Intel推薦采用至強(qiáng)E5處理器產(chǎn)品家族,至強(qiáng)E5處理器是Intel針對(duì)雙路服務(wù)器市場(chǎng)的重要革新,采用全新Sandy Bridge微架構(gòu),最多支持8個(gè)內(nèi)核,在舊金山閉幕不久的Intel秋季IDF大會(huì)上,Intel展示了采用Sandy Bridge微架構(gòu)Xeon(至強(qiáng))E5處理器以及Xeon E5服務(wù)器系統(tǒng)的工程樣品。上圖為該系統(tǒng)節(jié)點(diǎn)推薦配置示意。
二、 備份、歸檔存儲(chǔ)使用模式
相比對(duì)象存儲(chǔ)使用模式,備份和歸檔系統(tǒng)對(duì)于數(shù)據(jù)響應(yīng)時(shí)延的需求更加寬松,這類型系統(tǒng)中,用戶更為關(guān)注的是數(shù)據(jù)可靠性,能耗、以及單位存儲(chǔ)空間成本,針對(duì)這類型存儲(chǔ)使用模式,Intel推薦了基于至強(qiáng)E3處理器,以及Intel賽揚(yáng)/酷睿 i3處理器系列的節(jié)點(diǎn)優(yōu)化方案。
三、 大規(guī)模分析(Hadoop)使用模式
Hadoop通常用于海量文件的數(shù)據(jù)分析與處理,往往要求系統(tǒng)有快速的反應(yīng)時(shí)間和較強(qiáng)的處理能力,上圖為Intel基于E5處理器家族推薦的節(jié)點(diǎn)優(yōu)化架構(gòu)。
在一次Intel組織的媒體訓(xùn)練營(yíng)上,Intel(中國(guó))有限公司服務(wù)器平臺(tái)產(chǎn)品經(jīng)理張振宇就曾表示:“今天談云計(jì)算以及云架構(gòu)中的虛擬化,存儲(chǔ)是非常困難的問(wèn)題。”
解決非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)難題
在Intel規(guī)劃的云存儲(chǔ)系統(tǒng)中,把用戶實(shí)際的存儲(chǔ)需求分成了兩種類型,也就是我們所謂的結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)。
結(jié)構(gòu)化數(shù)據(jù)一般都存儲(chǔ)在數(shù)據(jù)庫(kù)中,通常又被叫做數(shù)據(jù)庫(kù)數(shù)據(jù),通常企業(yè)的關(guān)鍵業(yè)務(wù)應(yīng)用,如Oracle、SAP等應(yīng)用中往往基于這種類型的數(shù)據(jù)。這類型數(shù)據(jù)可以用數(shù)據(jù)庫(kù)的二維表結(jié)構(gòu)邏輯來(lái)表達(dá)與實(shí)現(xiàn),每一次讀取的數(shù)據(jù)塊往往并不大,一般為4K或者8K,但是讀寫往往會(huì)非常頻繁,由于每次讀寫都會(huì)帶來(lái)硬盤磁頭換道尋址的讀寫延時(shí),因此傳統(tǒng)的存儲(chǔ)系統(tǒng)往往采用了大規(guī)模并發(fā)、以及大量的讀寫優(yōu)化來(lái)保障結(jié)構(gòu)化數(shù)據(jù)的存取需求。
此外,擔(dān)當(dāng)企業(yè)關(guān)鍵業(yè)務(wù)應(yīng)用的數(shù)據(jù)存儲(chǔ)基石,數(shù)據(jù)安全性一定要保障,也因此,為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)而設(shè)計(jì)的存儲(chǔ)系統(tǒng)也往往采用大量的數(shù)據(jù)安全保護(hù)措施,保障企業(yè)關(guān)鍵業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)安全。
衡量數(shù)據(jù)庫(kù)讀寫性能的IOPS性能指標(biāo)一度成為企業(yè)存儲(chǔ)系統(tǒng)設(shè)計(jì)所追求的極致,然而隨著云計(jì)算日益走向普及應(yīng)用,社交網(wǎng)絡(luò)興起,到如今移動(dòng)互聯(lián)網(wǎng)與物聯(lián)網(wǎng)蓬勃發(fā)展,用戶突然發(fā)現(xiàn),過(guò)去的結(jié)構(gòu)化的數(shù)據(jù)在向非結(jié)構(gòu)化與半結(jié)構(gòu)化發(fā)展,大數(shù)據(jù)成為對(duì)傳統(tǒng)IT系統(tǒng)的另一個(gè)挑戰(zhàn)。
上圖為IDC發(fā)布的2010年至2014年間數(shù)據(jù)增長(zhǎng)趨勢(shì)預(yù)測(cè),其中,最底下的黃色數(shù)據(jù)塊代表傳統(tǒng)企業(yè)數(shù)據(jù)庫(kù)所產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)量,年增長(zhǎng)率僅為23.6%;黃色數(shù)據(jù)之上的紅色數(shù)據(jù),代表企業(yè)系統(tǒng)中的備份以及數(shù)據(jù)倉(cāng)庫(kù)等產(chǎn)生的備份數(shù)據(jù),從圖中可看到,其增長(zhǎng)趨勢(shì)并不明顯,年增長(zhǎng)率為24.2%;紅色數(shù)據(jù)之上的灰色數(shù)據(jù)塊代表歸檔等非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)趨勢(shì),在圖中可看到明顯的上升,年增長(zhǎng)率達(dá)到了54.8%;最上面的綠色部分增長(zhǎng)最快,這部分?jǐn)?shù)據(jù)的年增長(zhǎng)率甚至達(dá)到了75.6%,這部分?jǐn)?shù)據(jù)來(lái)自于內(nèi)容倉(cāng)庫(kù),具體包括了Web、電子郵件、社交網(wǎng)絡(luò)、文檔共享等應(yīng)用產(chǎn)生的各種各樣的文件數(shù)據(jù)。
三大云存儲(chǔ)解決方案
隨著數(shù)據(jù)宇宙的爆炸式增長(zhǎng),傳統(tǒng)為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)而設(shè)計(jì)的存儲(chǔ)系統(tǒng),已經(jīng)無(wú)法應(yīng)付云平臺(tái)系統(tǒng)龐大的數(shù)據(jù)存儲(chǔ)需求,在此背景下,集群存儲(chǔ)迎來(lái)其發(fā)展高峰。
集群存儲(chǔ)通過(guò)并發(fā)的分布式文件系統(tǒng)與算法,工作負(fù)載分布到集群中各節(jié)點(diǎn)的存儲(chǔ)方式,各集群存儲(chǔ)的節(jié)點(diǎn)相互配合并統(tǒng)一作戰(zhàn),因而達(dá)到了1 1>2的效果,同時(shí)集群存儲(chǔ)提供單一的使用接口與界面,使用戶可以方便地對(duì)所有數(shù)據(jù)進(jìn)行統(tǒng)一使用與管理。對(duì)于集群存儲(chǔ)來(lái)說(shuō),單個(gè)的數(shù)據(jù)節(jié)點(diǎn)是其上分布式文件系統(tǒng)以及管理軟件的硬件基礎(chǔ),其性能與可靠性直接影響到了存儲(chǔ)系統(tǒng)平臺(tái)的整體性能。
針對(duì)不同的云存儲(chǔ)環(huán)境中非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用,Intel提出了三大不同的針對(duì)應(yīng)用優(yōu)化的解決方案。
一、 較大的對(duì)象存儲(chǔ)使用模式
對(duì)象存儲(chǔ)一般用于內(nèi)容倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ),通常Web、電子郵件、社交網(wǎng)絡(luò)、文檔共享系統(tǒng)中通常會(huì)采用對(duì)象存儲(chǔ)模式來(lái)存儲(chǔ)大量的文件數(shù)據(jù)。這類型存儲(chǔ)需求對(duì)系統(tǒng)性能要求總體而言并不嚴(yán)格,但同樣要求一定的響應(yīng)時(shí)間和反應(yīng)速度。此外,考慮到系統(tǒng)的規(guī)模化建設(shè),整體系統(tǒng)對(duì)系統(tǒng)能耗、成本方面都會(huì)進(jìn)行一定的均衡。
針對(duì)對(duì)象存儲(chǔ)對(duì)節(jié)點(diǎn)硬件設(shè)計(jì)的需求,Intel推薦采用至強(qiáng)E5處理器產(chǎn)品家族,至強(qiáng)E5處理器是Intel針對(duì)雙路服務(wù)器市場(chǎng)的重要革新,采用全新Sandy Bridge微架構(gòu),最多支持8個(gè)內(nèi)核,在舊金山閉幕不久的Intel秋季IDF大會(huì)上,Intel展示了采用Sandy Bridge微架構(gòu)Xeon(至強(qiáng))E5處理器以及Xeon E5服務(wù)器系統(tǒng)的工程樣品。上圖為該系統(tǒng)節(jié)點(diǎn)推薦配置示意。
二、 備份、歸檔存儲(chǔ)使用模式
相比對(duì)象存儲(chǔ)使用模式,備份和歸檔系統(tǒng)對(duì)于數(shù)據(jù)響應(yīng)時(shí)延的需求更加寬松,這類型系統(tǒng)中,用戶更為關(guān)注的是數(shù)據(jù)可靠性,能耗、以及單位存儲(chǔ)空間成本,針對(duì)這類型存儲(chǔ)使用模式,Intel推薦了基于至強(qiáng)E3處理器,以及Intel賽揚(yáng)/酷睿 i3處理器系列的節(jié)點(diǎn)優(yōu)化方案。
三、 大規(guī)模分析(Hadoop)使用模式
Hadoop通常用于海量文件的數(shù)據(jù)分析與處理,往往要求系統(tǒng)有快速的反應(yīng)時(shí)間和較強(qiáng)的處理能力,上圖為Intel基于E5處理器家族推薦的節(jié)點(diǎn)優(yōu)化架構(gòu)。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
