黄色网页视频 I 影音先锋日日狠狠久久 I 秋霞午夜毛片 I 秋霞一二三区 I 国产成人片无码视频 I 国产 精品 自在自线 I av免费观看网站 I 日本精品久久久久中文字幕5 I 91看视频 I 看全色黄大色黄女片18 I 精品不卡一区 I 亚洲最新精品 I 欧美 激情 在线 I 人妻少妇精品久久 I 国产99视频精品免费专区 I 欧美影院 I 欧美精品在欧美一区二区少妇 I av大片网站 I 国产精品黄色片 I 888久久 I 狠狠干最新 I 看看黄色一级片 I 黄色精品久久 I 三级av在线 I 69色综合 I 国产日韩欧美91 I 亚洲精品偷拍 I 激情小说亚洲图片 I 久久国产视频精品 I 国产综合精品一区二区三区 I 色婷婷国产 I 最新成人av在线 I 国产私拍精品 I 日韩成人影音 I 日日夜夜天天综合

flume 參考文檔 (一)

系統(tǒng) 2143 0

Flume 配置文件 (flume-site.conf)

?

1、 watchdog

watchdog.restarts.max

watchdog每分鐘重啟的最大數(shù)???

???

???

2、 common node

flume.config.heartbeat.period

node發(fā)送心跳周期,默認5000(毫秒)

flume.node.status.port

node web端口

flume.node.heartbeat.backoff.ceiling

node向master發(fā)送心跳之后等待反饋的最大時長,默認60000(毫秒)

flume.node.http.autofindport

如果已有node啟動,允許第二個node自動選擇一個未使用的端口做web服務(wù)。多個node的界面端口從35862、35863向后延續(xù)

???

???

3、agent

flume.agent.logdir

agent日志路徑

flume.agent.logdir.maxage

當(dāng)前處于打開狀態(tài)agent日志文件收集信息的時長,在這之后該日志文件將會被關(guān)閉,并將數(shù)據(jù)發(fā)送到網(wǎng)絡(luò),默認10000(毫秒)

flume.agent.logdir.retransmit

在end-to-end模式下agent向collector發(fā)送數(shù)據(jù)失敗后再次發(fā)送的間隔時長,默認60000(毫秒),建議至少是flume.collector.roll.millis的兩倍

flume.agent.failover.backoff.initial

當(dāng)primary sink(可以認為是第一collector)故障后,重啟primary sink的一個延遲時間,在此期間,agent將把數(shù)據(jù)發(fā)送到secondary sink(可能是第二collector)

flume.agent.failover.backoff.max

在一定時限內(nèi)嘗試鏈接故障節(jié)點失敗后,agent將把數(shù)據(jù)轉(zhuǎn)發(fā)向備用節(jié)點

???

???

4、collector

flume.collector.event.host

默認collector地址

flume.collector.port

默認collector端口

flume.collector.dfs.dir

最終數(shù)據(jù)發(fā)向目錄(默認),可以是本地,可以是hdfs,默認是/tmp

flume.collector.dfs.compress.codec

壓縮格式GzipCodec, DefaultCodec (deflate), BZip2Codec,默認是None

flume.collector.roll.millis

hdfs文件切換(關(guān)閉后新建)的時長

flume.collector.output.format

collector發(fā)送數(shù)據(jù)格式avro, avrojson(默認), avrodata…

???

???

5、master

flume.master.servers

用逗號分隔多個master地址列表

flume.master.store

master配置存儲方式(zookeeper/memory) zookeeper保證master的配置在多master節(jié)點之間同步,memory則保存在內(nèi)存中,其配置隨著master宕機而丟失

flume.master.serverid

master的唯一標(biāo)識

flume.master.http.port

http端口

flume.master.heartbeat.missed.max

判斷節(jié)點失效的最大未達心跳數(shù)

flume.master.savefile

當(dāng)前flume配置文件的路徑,默認conf/current.flume

flume.master.savefile.autoload

啟動時是否加載current.flume,默認false

flume.master.gossip.period

master通信周期(毫秒)

flume.master.heartbeat.rpc

THRIFT/AVRO

flume.event.rpc

THRIFT/AVRO

flume.report.server.rpc.type

THRIFT/AVRO

???

???

6、zookeeper

flume.master.zk.logdir

zookeeper日志路徑

???

???

7、thrift

flume.thrift.socket.timeout.ms

thrift網(wǎng)絡(luò)連接超時時間(毫秒)

flume 參考文檔 (一)


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。?!

發(fā)表我的評論
最新評論 總共0條評論