這是小D 第一篇博客，有什么錯誤還請各位指正。
小D 也是剛接觸Hadoop ，因為在淘寶實習(xí)，有很多算法要在分布式環(huán)境下實現(xiàn)，所以這幾天一直在看Hadoop，邊用邊學(xué)。
最近實現(xiàn)的一個算法需要reduce輸出很多參數(shù)，每個參數(shù)的格式不一樣，而且要做為下一次mapreduce的輸入，大家都知道Hadoop的分布式操作系統(tǒng)HFS是以目錄為節(jié)點讀取文件的，每個reduce輸出一個分片，所以必須把要輸出的文件根據(jù)類型的不同輸出到不同的目錄中去。因為淘寶還在用 Hadoop 0.19的API ，所以沒辦法直接用MultipleOutputs 的write方法實現(xiàn)。
write
public
void
write(KEYOUT key,
VALUEOUT value,
String baseOutputPath)
throws
IOException,
InterruptedException
Write key value to an output file name. Gets the record writer from job
's output format. Job'
s output format should be a FileOutputFormat.
Parameters:
key
-
the key
value
-
the value
baseOutputPath
- base-output path to write the record to. Note: Framework will generate unique filename
for
the baseOutputPath
Throws:
IOException
InterruptedException
MultipleOutputs 沒有類似”String baseOutputPath“ 屬性。在0.19的API中MultipleOutputs只可以為不同類型的文件加上不同的前綴。比如先在main 函數(shù)指定
MultipleOutputs.addNamedOutput(datafliter, "rating", TextOutputFormat.
class
, Text.
class
, Text.
class
);
MultipleOutputs.addNamedOutput(datafliter, "bu", TextOutputFormat.
class
, Text.
class
, Text.
class
);
然后在reduce里實例化MultipleOutputs
private
MultipleOutputs mos ;
...
public
void
configure(JobConf conf) {
mos
=
new
MultipleOutputs(conf);
...
}
public
void
close()
throws
IOException {
mos.close();
}
public
void
reduce(Text key, Iterator<Text>
values,
OutputCollector
<Text, Text> output, Reporter reporter)
throws
IOException {
....
OutputCollector
<Text, Text> rateoutput =mos.getCollector("rating"
, reporter);
rateoutput.collect(
new
Text(key),
new
Text(sb.toString()));
OutputCollector
<Text, Text> rateoutput =mos.getCollector("bu"
, reporter);
rateoutput.collect(
new
Text(key),
new
Text(sb.toString()));
}
這樣可以實現(xiàn)多個輸出，在文件前加上相應(yīng)的前綴。
但是這樣做很多不同格式的文件還是會在一個output目錄下，苦思冥想了半天，查各種資料，問周圍同事，終于發(fā)現(xiàn)MapRedeuce 框架了還有一個貨是專門干這個的 那就是MultipleOutputFormat ， 它有兩個子類MultipleTextOutputFormat 和MultipleSequenceOutputFormat 對應(yīng)兩種輸出格式。但是想用這貨還挺麻煩，要寫一個子類繼承他，重寫父類的方法。
以我寫的MultiOutputFormatByFileName 為例。這個類還可以定制key ，value 鍵值對的規(guī)則，這里我們不討論這個，我們用到的是這兩個方法
protected
String generateLeafFileName(String name)
protected String generateFileNameForKeyValue(Text key, Text value, String name)
第一個是根據(jù)原文件名生成一個新文件名，注意這里的新文件名可以包含目錄，也就是可以寫成 XX/XX/XX.dat,這樣就可以生成新的目錄。
第二個是根據(jù)文件中的鍵值對來生成文件名。也可以生成目錄。
package
org.taobao.edp.tcif.titleExtract.util;
import
java.io.File;
import
org.apache.hadoop.io.Text;
import
org.apache.hadoop.mapred.lib.MultipleTextOutputFormat;
public
class
MultiOutputFormatByFileName
extends
MultipleTextOutputFormat<Text, Text>
{
@Override
protected
String generateLeafFileName(String name) {
//
TODO Auto-generated method stub
System.out.println(name);
String[] names
= name.split("-"
);
return
names[0]+File.separator+
name;
}
@Override
protected
String generateFileNameForKeyValue(Text key, Text value,
String name) {
//
TODO Auto-generated method stub
return
super
.generateFileNameForKeyValue(key, value, name);
}
}
OK 我們重寫第一個方法，之前我們通過MultipleOutput 生成了帶前綴的文件名，現(xiàn)在我們把這個前綴提取出來作為目錄名，代碼如上。
然后我們修改 main
MultipleOutputs.addNamedOutput(init,"q", MultiOutputFormatByFileName.
class
, Text.
class
, Text.
class
);
MultipleOutputs.addNamedOutput(init,
"x", MultiOutputFormatByFileName.
class
, Text.
class
, Text.
class
);
MultipleOutputs.addNamedOutput(init,
"bi", MultiOutputFormatByFileName.
class
, Text.
class
, Text.
class
);
MultipleOutputs.addNamedOutput(init,
"bu", MultiOutputFormatByFileName.
class
, Text.
class
, Text.
class
);
用自己的MultiOutputFormatByFileName 替換框架的TextOutputFormat
這樣就可以實現(xiàn)多目錄輸出嘍！
真心希望公司的分布式平臺能支持Hadoop 0.21的API ， 一個簡單的需求折騰了半天。
【Hadoop】利用MultipleOutputs,MultiOutputFormat實現(xiàn)以不同格式輸出到多個文件
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
