Flume Sinks
? ???
?
1、Flume’s Collector Tier Event Sinks
collectorSink( "fsdir","fsfileprefix",rollmillis) |
collectorSink,數據通過collector匯聚之后發送到hdfs, fsdir 是hdfs目錄,fsfileprefix為文件前綴碼 |
????
2、Flume’s Agent Tier Event Sinks
agentSink[("machine"[,port])] |
Defaults to agentE2ESink,如果省略,machine參數,默認使用flume.collector.event.host與flume.collector.event.port作為默認collecotr(以下同此) |
agentE2ESink[("machine"[,port])] |
執著的agent,如果agent發送event沒有收到collector成功寫入的狀態碼,該event將被agent重復發送,直到接到成功寫入的狀態碼 |
agentDFOSink[("machine" [,port])] |
本地熱備agent,agent發現collector節點故障后,不斷檢查collector的存活狀態以便重新發送event,在此間產生的數據將緩存到本地磁盤中 |
agentBESink[("machine"[,port])] |
不負責的agent,如果collector故障,將不做任何處理,它發送的數據也將被直接丟棄 |
agentE2EChain("m1[:_p1_]" [,"m2[:_p2_]"[,…]]) |
指定多個collector提高可用性。 當向主collector發送event失效后,轉向第二個collector發送,當所有的collector失敗后,它會非常執著的再來一遍... |
agentDFOChain("m1[:_p1_]"[, "m2[:_p2_]"[,…]]) |
同上,當向所有的collector發送事件失效后,他會將event緩存到本地磁盤,并檢查collector狀態,嘗試重新發送 |
agentBEChain("m1[:_p1_]"[, "m2[:_p2_]"[,…]]) |
同上,當向所有的collector發送事件失效后,他會將event丟棄 |
autoE2EChain |
無需指定collector, 由master協調管理event的流向 |
autoDFOChain |
同上 |
autoBEChain |
同上 |
???
3、Flume’s Logical Sinks
logicalSink(" logicalnode ") |
? |
???
4、Flume’s Basic Sinks
在不使用collector收集event的情況下,可將source直接發向basic sinks
null |
null |
console[("formatter")] |
轉發到控制臺 |
text("txtfile" [,"formatter"]) |
轉發到文本文件 |
seqfile("filename") |
轉發到seqfile |
dfs("hdfspath") |
轉發到hdfs |
customdfs("hdfspath"[, "format"]) |
自定義格式dfs |
+escapedCustomDfs("hdfspath", "file", "format") |
? |
rpcSink("host"[, port]) |
Rpc框架 |
syslogTcp("host"[,port]) |
發向網絡地址 |
irc("host",port, "nick", "chan") |
? |
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
