【試驗(yàn)?zāi)康摹?
本試驗(yàn)?zāi)康氖菫榱丝偨Y(jié)hadoop相關(guān)參數(shù)優(yōu)化對(duì)性能的影響。

【試驗(yàn)環(huán)境】
硬件環(huán)境
本次試驗(yàn)用機(jī)4臺(tái)，配置一致：
CPU： Intel(R) Xeon(R) CPU? E5620? @ 2.40GHz * 16
內(nèi)存： MemTotal:?????? 32867608 kB 64bit
linux版本 CentOS release 6.2 (Final)
內(nèi)核版本 2.6.32-220.el6.x86_64
硬盤(pán) Model: IBM ServeRAID M5015 (scsi)
Disk /dev/sda: 2997GB
Sector size (logical/physical): 512B/512B

軟件環(huán)境：
JDK： jdk1.6.0_45
Hadoop： hadoop-1.2.1

【試驗(yàn)數(shù)據(jù)和程序】
試驗(yàn)所用程序?yàn)閃ordCount計(jì)數(shù)程序（統(tǒng)計(jì)每個(gè)字母出現(xiàn)的次數(shù)），數(shù)據(jù)源是“ABCDEABC…”的循環(huán)

【試驗(yàn)結(jié)果統(tǒng)計(jì)和總結(jié)】
總結(jié)相同的配置，此次試驗(yàn)hadoop中備份數(shù)均為1份


導(dǎo)入hdfs的數(shù)據(jù)分析

可以看出在數(shù)據(jù)導(dǎo)入環(huán)節(jié)，系能基本呈現(xiàn)線性。


參數(shù)優(yōu)化結(jié)果（所使用數(shù)據(jù)均為10G）



遺留的問(wèn)題和今后研究的方向
1.本次試驗(yàn)由于機(jī)器有限，所以在大量加入機(jī)器后性能提升是否線性有待驗(yàn)證。
2.本次試驗(yàn)的數(shù)據(jù)混亂度不高，有待加入真實(shí)數(shù)據(jù)進(jìn)行驗(yàn)證
3.本次試驗(yàn)實(shí)在hadoop1.0的環(huán)境中做的，有待在2.0中試驗(yàn)。


試驗(yàn)結(jié)果總結(jié)
對(duì)hadoop性能優(yōu)化性能提高的因素排列如下（按照優(yōu)化幅度從高到低）：
1.加入combiner
2.增大map和reduce的槽數(shù)
3.加大dateNode上jvm參數(shù)
4.加機(jī)器
5.改變堆的大小
6.IntWriteAble改成VIntWriteAble
7.SecondeNameNode與NameNode分離
8.關(guān)閉noatime




作者簡(jiǎn)介
昵稱(chēng):澳洲鳥(niǎo)，貓頭哥
姓名:樸海林
QQ:85977328
MSN:6301655@163.com
本文的研究，離不開(kāi)《至高天》朋友們的支持
貓頭哥：http://phl.iteye.com/
根根：http://blog.csdn.net/suileisl
芝麻的奮斗：http://sesame84.iteye.com/
wan560：http://blog.csdn.net/wan560/
terrily：http://terrily.iteye.com/

hadoop經(jīng)典系列(十一)性能分析實(shí)驗(yàn)初步