1. hadoop 生態(tài)概況
Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。
用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運算和存儲。
具有可靠、高效、可伸縮的特點。
Hadoop的核心是YARN,HDFS和Mapreduce
下圖是hadoop生態(tài)系統(tǒng)，集成spark生態(tài)圈。在未來一段時間內(nèi)，hadoop將于spark共存，hadoop與spark
都能部署在yarn、mesos的資源管理系統(tǒng)之上
在linux上安裝步驟如下
1、關(guān)閉防火墻
#chkconfig iptables --list
#chkconfig iptables off
#service iptables status
#service iptables stop
2、配置IP地址
#cd /etc/sysconfig/network-scripts/
橋接模式
DEVICE=eth0
BOOTPROTO=none
HWADDR=00:0c:29:fb:e0:db
IPV6INIT=yes
NM_CONTROLLED=yes
ONBOOT=yes
IPADDR=192.168.0.10
TYPE=Ethernet
UUID="b6fd9228-061a-432d-80fe-f3597954261b"
NETMASK=255.255.255.0
DNS2=180.168.255.118
GATEWAY=192.168.0.1
DNS1=116.228.111.18
USERCTL=no
ARPCHECK=no
3、修改主機(jī)名
更改/etc下的hosts文件，在提示符下輸入vi /etc/hosts，然后將localhost.localdomain改為想要設(shè)置的主機(jī)名
4、安裝JKD1.8.151
在/etc/profile文件中寫入
export PATH
JAVA_HOME=/zhangjun/programe/jdk1.8.0_151
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH
export CLASSPATH
5、安裝hadoop3.0.0
在/etc/profile文件中寫入
export HADOOP_HOME=/zhangjun/programe/hadoop-3.0.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
6、使配置文件生效
#source /etc/profile
7、測試版本
8、重要目錄說明
Hadoop安裝包目錄下有幾個比較重要的目錄
sbin : 啟動或停止Hadoop相關(guān)服務(wù)的腳本
bin ：對Hadoop相關(guān)服務(wù)（HDFS,YARN）進(jìn)行操作的腳本
etc : Hadoop的配置文件目錄
share ：Hadoop的依賴jar包和文檔，文檔可以被刪掉
lib ：Hadoop的本地庫（對數(shù)據(jù)進(jìn)行壓縮解壓縮功能的）
9、配置hadoop
修改主機(jī)名
#cp /etc/sysconfig/network /etc/sysconfig/network.20171218.bak
#vi /etc/sysconfig/network
NETWORKING=yes
#HOSTNAME=localhost.localdomain
HOSTNAME=hadoop
綁定主機(jī)名對應(yīng)的IP地址
# cp /etc/hosts /etc/hosts.20171218.bak
#vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.10 hadoop
測試主機(jī)名
# ping hadoop
創(chuàng)建用戶組hadoop
#groupadd hadoop
創(chuàng)建用戶hadoop并添加進(jìn)用戶組hadoop
#useradd -g hadoop -d /home/hadoop -s /bin/bash -m hadoop
其含義如下：
-d, --home HOME_DIR
-g, --gid GROUP
-s, --shell SHELL
-m, --create-home
添加visudo權(quán)限
#visudo
其中
visudo <=> vi /etc/sudoers
配置ssh免密碼登錄
1) 驗證是否安裝ssh：ssh -version
顯示如下的話則成功安裝了
OpenSSH_6.2p2 Ubuntu-6ubuntu0.1, OpenSSL 1.0.1e 11 Feb 2013
Bad escape character 'rsion'.
否則安裝ssh：sudo apt-get install ssh
2）ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
解釋一下，ssh-keygen代表生成密鑰;-t(注意區(qū)分大小寫)表示指定生成的密鑰類型;dsa是dsa密鑰認(rèn)證的意思，即密鑰類型;-P用 于提供密語;-f指定生成的密鑰文件。(關(guān)于密鑰密語的相關(guān)知識這里就不詳細(xì)介紹了，里面會涉及SSH的一些知識，如果讀者有興趣，可以自行查閱資料。)
.ssh表示ssh文件是隱藏的。
在Ubuntu中，~代表當(dāng)前用戶文件夾，這里即/home/u。
這個命令會在.ssh文件夾下創(chuàng)建兩個文件id_dsa及id_dsa.pub，這是SSH的一對私鑰和公鑰，類似于鑰匙及鎖，把id_dsa.pub(公鑰)追加到授權(quán)的key里面去。
3）cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
這段話的意思是把公鑰加到用于認(rèn)證的公鑰文件中，這里的authorized_keys是用于認(rèn)證的公鑰文件。
至此無密碼登錄本機(jī)已設(shè)置完畢。
4）現(xiàn)在可以登入ssh確認(rèn)以后登錄時不用輸入密碼
#~$ ssh localhost
# ~$ exit
這樣以后登錄就不用輸入密碼了。
5）scp <本地文件名> <用戶名>@<ssh服務(wù)器地址>:<上傳保存路徑即文件名>
由于使用ssh，我們無法使用簡單的拖拽或者復(fù)制粘貼操作對本地計算機(jī)和ssh服務(wù)器上的文件進(jìn)行交流。我們需要用到scp命令行。
舉例以說明。如果希望將當(dāng)前目錄下的a.txt文件上傳到ssh服務(wù)器上test文件夾并改名為b.txt，其中ssh服務(wù)器網(wǎng)址為127.0.0.1，用戶名admin。代碼如下：
程序代碼
scp a.txt admin@127.0.0.1:./test/b.txt
下載也很簡單，只需要將“本地文件名”和后面服務(wù)器的信息對調(diào)即可。
scp hadoop-1.0.3.tar.gz hadoop02@10.130.26.18:~/
10、配置（本地單獨模式）standalone mode
10.1、在Hadoop的安裝目錄下，創(chuàng)建input目錄
#cd
#mkdir -p input
10.2、修改hadoop中hadoop-env.sh的JAVA_HOME路徑
原內(nèi)容
export JAVA_HOME=${JAVA_HOME}
修改內(nèi)容
export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_151
10.3、測試是否安裝成功hadoop
#hadoop
說明已經(jīng)成功安裝
10.4、單詞統(tǒng)計
創(chuàng)建輸入文件夾input放輸入文件
# /home/hadoop/input/
#vim wordcount.txt
Hi, This is a test file.
Hi, I love hadoop and love you .
運行單詞統(tǒng)計
# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /home/hadoop/input/wordcount.txt /home/hadoop/output/
刪除output
#rm -rf /home/hadoop/output/
再次運行
查看輸出文件
# cd /home/hadoop/output/
#ll
#more part-r-00000
10.5、備份單機(jī)模式文件路徑
10.6、至此單機(jī)安裝完成
11、配置（偽分布式模式）pseudo-distributed mode
11.1、說明
Hadoop 可以在單節(jié)點上以偽分布式的方式運行，Hadoop 進(jìn)程以分離的 Java 進(jìn)程來運行，節(jié)點既作為 NameNode 也作為 DataNode，同時，讀取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /$HADOOP_HOME/etc/hadoop/ 中，偽分布式至少需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。
Hadoop的配置文件是 xml 格式，每個配置以聲明 property 的 name 和 value 的方式來實現(xiàn)。
11.2、關(guān)閉防火墻
#chkconfig iptables --list
#chkconfig iptables off
#service iptables status
#service iptables stop
11.3、修改IP地址及hostname
參考系統(tǒng)管理文檔
DEVICE=eth0
BOOTPROTO=none
IPV6INIT=yes
NM_CONTROLLED=yes
ONBOOT=yes
TYPE=Ethernet
USERCTL=no
HWADDR=00:0c:29:fb:e0:db
IPADDR=192.168.0.10
NETMASK=255.255.255.0
DNS2=8.8.8.8
GATEWAY=192.168.0.1
DNS1=8.8.8.8
只修改標(biāo)紅的地方
[root@master soft]# more /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=none
IPV6INIT=yes
NM_CONTROLLED=yes
ONBOOT=yes
TYPE=Ethernet
USERCTL=no
HWADDR=00:0c:29:fb:e0:db
IPADDR=192.168.0.10
NETMASK=255.255.255.0
DNS2=8.8.8.8
GATEWAY=192.168.0.1
DNS1=8.8.8.8
[root@master soft]# more /etc/sysconfig/network
NETWORKING=yes
#HOSTNAME=localhost.localdomain
HOSTNAME=master
[root@master soft]# more /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.10 master
[root@master soft]#
11.4、修改hadoop配置文件
Hadoop 的配置文件位于 /$HADOOP_HOME/etc/hadoop/ 中，偽分布式至少需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。
Hadoop的配置文件是 xml 格式，每個配置以聲明 property 的 name 和 value 的方式來實現(xiàn)。
11.4.1、備份文件
[root@master hadoop]# cd $HADOOP_HOME/etc/hadoop
[root@master hadoop]# pwd
/home/hadoop/soft/hadoop-2.7.5/etc/hadoop
備份文件
[root@master hadoop]# cp core-site.xml bak.20171218.core-site.xml
[root@master hadoop]# cp hdfs-site.xml bak.20171218.hdfs-site.xml
[root@master hadoop]# cp yarn-site.xml bak.20171218.yarn-site.xml
[root@master hadoop]# cp yarn-env.sh bak.20171218.yarn-env.sh
復(fù)制文件
[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml
11.5、修改hadoop中hadoop-env.sh的JAVA_HOME路徑
原內(nèi)容
export JAVA_HOME=${JAVA_HOME}
修改內(nèi)容
export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_151
11.6、修改hadoop中yarn-env.sh的JAVA_HOME路徑
原內(nèi)容
export JAVA_HOME=${JAVA_HOME}
修改內(nèi)容
export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_151
11.6.1、修改core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
-->
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:///home/hadoop/tmp</value>
</property>
</configuration>
11.6.2、修改hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
-->
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/hdfs/data</value>
</property>
</configuration>
偽分布式雖然只需要配置 fs.defaultFS 和 dfs.replication 就可以運行（官方教程如此），不過若沒有配置 hadoop.tmp.dir 參數(shù)，則默認(rèn)使用的臨時目錄為 /tmp/hadoo-hadoop，而這個目錄在重啟時有可能被系統(tǒng)清理掉，導(dǎo)致必須重新執(zhí)行 format 才行。所以我們進(jìn)行了設(shè)置，同時也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否則在接下來的步驟中可能會出錯。
11.6.3、修改mapred-site.xml
文件默認(rèn)不存在，只有一個模板，復(fù)制一份
# cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
-->
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
11.6.4、修改yarn-site.xml
<?xml version="1.0"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
-->
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
11.7、格式化namenode
# hdfs namenode -format
11.8、jps查看進(jìn)程
#jps
11.9、啟動服務(wù)
#start-all.sh
[root@master hadoop]# jps
5425 Jps
[root@master hadoop]# start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [master]
master: starting namenode, logging to /home/hadoop/soft/hadoop-2.7.5/logs/hadoop-root-namenode-master.out
localhost: starting datanode, logging to /home/hadoop/soft/hadoop-2.7.5/logs/hadoop-root-datanode-master.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop/soft/hadoop-2.7.5/logs/hadoop-root-secondarynamenode-master.out
starting yarn daemons
starting resourcemanager, logging to /home/hadoop/soft/hadoop-2.7.5/logs/yarn-root-resourcemanager-master.out
localhost: starting nodemanager, logging to /home/hadoop/soft/hadoop-2.7.5/logs/yarn-root-nodemanager-master.out
[root@master hadoop]# jps
5682 DataNode
5843 SecondaryNameNode
5559 NameNode
6103 NodeManager
6007 ResourceManager
6415 Jps
[root@master hadoop]#
http://master:8088
http://192.168.0.10:8088
MapReduce的Web界面
http://master:50030
HDFS的Web界面
本文為張軍原創(chuàng)文章,轉(zhuǎn)載無需和我聯(lián)系,但請注明來自張軍的軍軍小站,個人博客http://www.dlhighland.cn
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
