Tachyon是什么？

Tachyon是一個(gè)高性能、高容錯(cuò)、基于內(nèi)存的開源分布式存儲系統(tǒng)，并具有類Java的文件API、插件式的底層文件系統(tǒng)、兼容Hadoop MapReduce和Apache Spark等特征。Tachyon能夠?yàn)榧嚎蚣埽ㄈ鏢park、MapReduce等）提供內(nèi)存級速度的跨集群文件共享服務(wù)。Tachyon充分使用內(nèi)存和文件對象之間的世代（Lineage）信息，因此速度很快，官方號稱最高比HDFS吞吐量高300倍。目前，很多公司（如Pivotal、EMC、紅帽等）已經(jīng)在使用Tachyon，并且來自20個(gè)組織或公司（如雅虎、英特、紅帽等）的60多個(gè)貢獻(xiàn)者都在為其貢獻(xiàn)代碼。Tachyon是于UC Berkeley數(shù)據(jù)分析棧(BDAS)的存儲層，它還是Fedroa操作系統(tǒng)自帶應(yīng)用。

Tachyon具有的重要特征如下：

類Java的文件API: Tachyon的原生API同Java的文件類非常相似，并提供了InputStream和OutputStream接口，還支持內(nèi)存映射IO；
兼容MapReduce和Spark：Tachyon實(shí)現(xiàn)了Hadoop的FileSystem接口，因此，MapReduce和Spark無需做任何修改就可以使用Tachyon；
插件式的底層文件系統(tǒng)：Tachyon基于Hadoop并從底層重建了Hadoop平臺。Tachyon具有一個(gè)通用、方便于接入不同底層文件系統(tǒng)的接口。目前支持的文件系統(tǒng)包括HDFS、S3、GlusterFS、單節(jié)點(diǎn)本地文件系統(tǒng)等，對其他文件系統(tǒng)的支持將很快實(shí)現(xiàn)。
支持本地原始表：Tachyon提供了對多列數(shù)據(jù)的本地支持，且提供了選擇項(xiàng)，以決定是否將Hot列放入內(nèi)存以節(jié)省空間；
瀏覽文件系統(tǒng)的Web界面：用戶能夠通過Web界面瀏覽文件系統(tǒng)，尤其在Debug模式下，管理員還能夠查看每個(gè)文件的詳細(xì)信息，如文件位置、檢查點(diǎn)（Checkpoint）路徑等；
支持命令行交互:用戶能夠使用命令“./bin/tachyon tfs”同Tachyon進(jìn)行交互，如往文件系統(tǒng)中復(fù)制數(shù)據(jù)以及從文件系統(tǒng)往外復(fù)制數(shù)據(jù)；
高容錯(cuò)性：Tachyon具有良好的容錯(cuò)機(jī)制，Master和Worker都有自己的容錯(cuò)方式。Master使用ZooKeeper進(jìn)行容錯(cuò)，Master中保存的元數(shù)據(jù)使用Journal進(jìn)行容錯(cuò)，Master還對各個(gè)Worker的狀態(tài)進(jìn)行監(jiān)控，發(fā)現(xiàn)Worker失效時(shí)會自動重啟對應(yīng)的Worker。對于具體的文件數(shù)據(jù)，Tachyon使用世代關(guān)系進(jìn)行容錯(cuò)。
Tachyon采用了Master-Worker模式，運(yùn)行中的Tachyon系統(tǒng)由一個(gè)Master和多個(gè)Worker構(gòu)成。Tachyon Master管理全部文件的元數(shù)據(jù)信息，同時(shí)也負(fù)責(zé)監(jiān)控各個(gè)Tachyon Worker的狀態(tài)。為了高效地對文件進(jìn)行管理，Tachyon文件在內(nèi)存中按塊組織。文件和塊信息保存在Master端，每個(gè)Worker以塊為單位進(jìn)行存儲和管理。

Tachyon誕生于UC Berkeley的AMPLab，由該實(shí)驗(yàn)室的計(jì)算機(jī)在讀博士李浩源初創(chuàng)，并基于Apache License 2.0開源協(xié)議發(fā)布，代碼托管在GitHub，其當(dāng)前最新版本為0.6.1。去年10份，李浩源在接受InfoQ采訪時(shí)曾表示：

長期來講，他們對待Tachyon會像對待Apache Mesos和Apache Spark一樣，Tachyon也會進(jìn)入Apache軟件基金會，這里歡迎更多的開發(fā)者加入。

近日，從華爾街日報(bào)消息得知，Tachyon獲得了硅谷風(fēng)投A16Z的750萬美元A輪投資。AMPLab的項(xiàng)目還包括與Hadoop相似、啟用了內(nèi)存分布數(shù)據(jù)集的開源集群計(jì)算環(huán)境Spark、類似于基于鍵/值存儲的SQL查詢語言PIQL、基于分布式系統(tǒng)的機(jī)器學(xué)習(xí)系統(tǒng)MLBase、多核和大型SMP系統(tǒng)的操作系統(tǒng)Akaros、低延遲計(jì)算集群調(diào)度系統(tǒng)Sparrow等。此外，Tachyon官網(wǎng)還提供了相關(guān)文檔，如用戶文檔、開發(fā)者文檔等。更多關(guān)于Tachyon的信息，讀者可以登錄其官網(wǎng)或其GitHub提供的Wiki頁面查看。

?

source:?http://www.infoq.com/cn/news/2015/03/tachyon-distributed--system

高性能、高容錯(cuò)、基于內(nèi)存的開源分布式存儲系統(tǒng)Tachyon的簡單介紹