欧美三区_成人在线免费观看视频_欧美极品少妇xxxxⅹ免费视频_a级毛片免费播放_鲁一鲁中文字幕久久_亚洲一级特黄

安裝hadoop

張軍 9372 0

1. hadoop 生態(tài)概況

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。

用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運算和存儲。

具有可靠、高效、可伸縮的特點。

Hadoop的核心是YARN,HDFS和Mapreduce

下圖是hadoop生態(tài)系統(tǒng)，集成spark生態(tài)圈。在未來一段時間內(nèi)，hadoop將于spark共存，hadoop與spark

都能部署在yarn、mesos的資源管理系統(tǒng)之上

張軍博客


在linux上安裝步驟如下


1、關(guān)閉防火墻


#chkconfig iptables --list

#chkconfig iptables off

#service iptables status

#service iptables stop


2、配置IP地址


#cd /etc/sysconfig/network-scripts/

橋接模式

DEVICE=eth0

BOOTPROTO=none

HWADDR=00:0c:29:fb:e0:db

IPV6INIT=yes

NM_CONTROLLED=yes

ONBOOT=yes

IPADDR=192.168.0.10

TYPE=Ethernet

UUID="b6fd9228-061a-432d-80fe-f3597954261b"

NETMASK=255.255.255.0

DNS2=180.168.255.118

GATEWAY=192.168.0.1

DNS1=116.228.111.18

USERCTL=no

ARPCHECK=no


3、修改主機(jī)名


更改/etc下的hosts文件，在提示符下輸入vi /etc/hosts，然后將localhost.localdomain改為想要設(shè)置的主機(jī)名


4、安裝JKD1.8.151


在/etc/profile文件中寫入

export PATH

JAVA_HOME=/zhangjun/programe/jdk1.8.0_151

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export PATH

export CLASSPATH


5、安裝hadoop3.0.0


在/etc/profile文件中寫入

export HADOOP_HOME=/zhangjun/programe/hadoop-3.0.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


6、使配置文件生效


#source /etc/profile


7、測試版本

張軍博客


張軍博客


8、重要目錄說明

Hadoop安裝包目錄下有幾個比較重要的目錄

sbin : 啟動或停止Hadoop相關(guān)服務(wù)的腳本

bin ：對Hadoop相關(guān)服務(wù)（HDFS,YARN）進(jìn)行操作的腳本

etc : Hadoop的配置文件目錄

share ：Hadoop的依賴jar包和文檔，文檔可以被刪掉

lib ：Hadoop的本地庫（對數(shù)據(jù)進(jìn)行壓縮解壓縮功能的）


9、配置hadoop 

修改主機(jī)名

#cp /etc/sysconfig/network /etc/sysconfig/network.20171218.bak 

#vi /etc/sysconfig/network

NETWORKING=yes

#HOSTNAME=localhost.localdomain

HOSTNAME=hadoop

綁定主機(jī)名對應(yīng)的IP地址

# cp /etc/hosts /etc/hosts.20171218.bak

#vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.10 hadoop

測試主機(jī)名

# ping hadoop

 張軍博客

創(chuàng)建用戶組hadoop

#groupadd hadoop

創(chuàng)建用戶hadoop并添加進(jìn)用戶組hadoop

#useradd -g hadoop -d /home/hadoop -s /bin/bash -m hadoop

其含義如下：

-d, --home HOME_DIR

-g, --gid GROUP

-s, --shell SHELL

-m, --create-home

添加visudo權(quán)限

#visudo

其中

visudo <=> vi /etc/sudoers

配置ssh免密碼登錄

1) 驗證是否安裝ssh：ssh -version

顯示如下的話則成功安裝了

OpenSSH_6.2p2 Ubuntu-6ubuntu0.1, OpenSSL 1.0.1e 11 Feb 2013

Bad escape character 'rsion'.

否則安裝ssh：sudo apt-get install ssh

2）ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

解釋一下，ssh-keygen代表生成密鑰;-t(注意區(qū)分大小寫)表示指定生成的密鑰類型;dsa是dsa密鑰認(rèn)證的意思，即密鑰類型;-P用 于提供密語;-f指定生成的密鑰文件。(關(guān)于密鑰密語的相關(guān)知識這里就不詳細(xì)介紹了，里面會涉及SSH的一些知識，如果讀者有興趣，可以自行查閱資料。)

.ssh表示ssh文件是隱藏的。

在Ubuntu中，~代表當(dāng)前用戶文件夾，這里即/home/u。

這個命令會在.ssh文件夾下創(chuàng)建兩個文件id_dsa及id_dsa.pub，這是SSH的一對私鑰和公鑰，類似于鑰匙及鎖，把id_dsa.pub(公鑰)追加到授權(quán)的key里面去。

3）cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

這段話的意思是把公鑰加到用于認(rèn)證的公鑰文件中，這里的authorized_keys是用于認(rèn)證的公鑰文件。

至此無密碼登錄本機(jī)已設(shè)置完畢。

4）現(xiàn)在可以登入ssh確認(rèn)以后登錄時不用輸入密碼

#~$ ssh localhost

# ~$ exit

這樣以后登錄就不用輸入密碼了。

5）scp <本地文件名> <用戶名>@<ssh服務(wù)器地址>:<上傳保存路徑即文件名>

由于使用ssh，我們無法使用簡單的拖拽或者復(fù)制粘貼操作對本地計算機(jī)和ssh服務(wù)器上的文件進(jìn)行交流。我們需要用到scp命令行。

舉例以說明。如果希望將當(dāng)前目錄下的a.txt文件上傳到ssh服務(wù)器上test文件夾并改名為b.txt，其中ssh服務(wù)器網(wǎng)址為127.0.0.1，用戶名admin。代碼如下：

程序代碼

scp a.txt admin@127.0.0.1:./test/b.txt

下載也很簡單，只需要將“本地文件名”和后面服務(wù)器的信息對調(diào)即可。

scp hadoop-1.0.3.tar.gz hadoop02@10.130.26.18:~/


10、配置（本地單獨模式）standalone mode


10.1、在Hadoop的安裝目錄下，創(chuàng)建input目錄

#cd

#mkdir -p input


10.2、修改hadoop中hadoop-env.sh的JAVA_HOME路徑

原內(nèi)容

export JAVA_HOME=${JAVA_HOME}

修改內(nèi)容

export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_151

10.3、測試是否安裝成功hadoop

#hadoop

 張軍博客

說明已經(jīng)成功安裝


10.4、單詞統(tǒng)計

創(chuàng)建輸入文件夾input放輸入文件

# /home/hadoop/input/

 張軍博客

#vim wordcount.txt

Hi, This is a test file.

Hi, I love hadoop and love you .

 張軍博客

運行單詞統(tǒng)計

# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /home/hadoop/input/wordcount.txt /home/hadoop/output/

 張軍博客

刪除output

#rm -rf /home/hadoop/output/

再次運行

 張軍博客

查看輸出文件

# cd /home/hadoop/output/

#ll

#more part-r-00000

 張軍博客


10.5、備份單機(jī)模式文件路徑



10.6、至此單機(jī)安裝完成




11、配置（偽分布式模式）pseudo-distributed mode


11.1、說明

Hadoop 可以在單節(jié)點上以偽分布式的方式運行，Hadoop 進(jìn)程以分離的 Java 進(jìn)程來運行，節(jié)點既作為 NameNode 也作為 DataNode，同時，讀取的是 HDFS 中的文件。


Hadoop 的配置文件位于 /$HADOOP_HOME/etc/hadoop/ 中，偽分布式至少需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。


Hadoop的配置文件是 xml 格式，每個配置以聲明 property 的 name 和 value 的方式來實現(xiàn)。


11.2、關(guān)閉防火墻

#chkconfig iptables --list

#chkconfig iptables off

#service iptables status

#service iptables stop


11.3、修改IP地址及hostname

參考系統(tǒng)管理文檔

DEVICE=eth0

BOOTPROTO=none

IPV6INIT=yes

NM_CONTROLLED=yes

ONBOOT=yes

TYPE=Ethernet

USERCTL=no

HWADDR=00:0c:29:fb:e0:db

IPADDR=192.168.0.10

NETMASK=255.255.255.0

DNS2=8.8.8.8

GATEWAY=192.168.0.1

DNS1=8.8.8.8

只修改標(biāo)紅的地方

[root@master soft]# more /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=none

IPV6INIT=yes

NM_CONTROLLED=yes

ONBOOT=yes

TYPE=Ethernet

USERCTL=no

HWADDR=00:0c:29:fb:e0:db

IPADDR=192.168.0.10

NETMASK=255.255.255.0

DNS2=8.8.8.8

GATEWAY=192.168.0.1

DNS1=8.8.8.8

[root@master soft]# more /etc/sysconfig/network

NETWORKING=yes

#HOSTNAME=localhost.localdomain

HOSTNAME=master

[root@master soft]# more /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.10 master

 [root@master soft]#

 張軍博客



11.4、修改hadoop配置文件


Hadoop 的配置文件位于 /$HADOOP_HOME/etc/hadoop/ 中，偽分布式至少需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。

Hadoop的配置文件是 xml 格式，每個配置以聲明 property 的 name 和 value 的方式來實現(xiàn)。

11.4.1、備份文件

[root@master hadoop]# cd $HADOOP_HOME/etc/hadoop

[root@master hadoop]# pwd

/home/hadoop/soft/hadoop-2.7.5/etc/hadoop

備份文件

[root@master hadoop]# cp core-site.xml bak.20171218.core-site.xml

[root@master hadoop]# cp hdfs-site.xml bak.20171218.hdfs-site.xml

[root@master hadoop]# cp yarn-site.xml bak.20171218.yarn-site.xml

[root@master hadoop]# cp yarn-env.sh bak.20171218.yarn-env.sh

復(fù)制文件

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml

 張軍博客


11.5、修改hadoop中hadoop-env.sh的JAVA_HOME路徑


原內(nèi)容

export JAVA_HOME=${JAVA_HOME}

修改內(nèi)容

export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_151


11.6、修改hadoop中yarn-env.sh的JAVA_HOME路徑


原內(nèi)容

export JAVA_HOME=${JAVA_HOME}

修改內(nèi)容

export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_151


11.6.1、修改core-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at


    http://www.apache.org/licenses/LICENSE-2.0


  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->


<!-- Put site-specific property overrides in this file. -->


<configuration>

<property>

  <name>fs.defaultFS</name>

  <value>hdfs://master:9000</value>

</property>

<property>  

      <name>hadoop.tmp.dir</name>  

      <value>file:///home/hadoop/tmp</value>  

  </property> 

</configuration>


11.6.2、修改hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at


    http://www.apache.org/licenses/LICENSE-2.0


  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->


<!-- Put site-specific property overrides in this file. -->


<configuration>

    <property>  

     <name>dfs.replication</name>  

     <value>1</value>

   </property>  

   <property>  

     <name>dfs.namenode.name.dir</name>  

     <value>file:///home/hadoop/hdfs/name</value>  

   </property>  

   <property>  

     <name>dfs.datanode.data.dir</name>  

     <value>file:///home/hadoop/hdfs/data</value>  

   </property>

</configuration>


偽分布式雖然只需要配置 fs.defaultFS 和 dfs.replication 就可以運行（官方教程如此），不過若沒有配置 hadoop.tmp.dir 參數(shù)，則默認(rèn)使用的臨時目錄為 /tmp/hadoo-hadoop，而這個目錄在重啟時有可能被系統(tǒng)清理掉，導(dǎo)致必須重新執(zhí)行 format 才行。所以我們進(jìn)行了設(shè)置，同時也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否則在接下來的步驟中可能會出錯。


11.6.3、修改mapred-site.xml

文件默認(rèn)不存在，只有一個模板，復(fù)制一份

# cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at


    http://www.apache.org/licenses/LICENSE-2.0


  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->


<!-- Put site-specific property overrides in this file. -->


<configuration>

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

<property>

  <name>mapreduce.jobhistory.address</name>

  <value>master:10020</value>

</property>

<property>

  <name>mapreduce.jobhistory.webapp.address</name>

  <value>master:19888</value>

</property>

</configuration>


11.6.4、修改yarn-site.xml

<?xml version="1.0"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at


    http://www.apache.org/licenses/LICENSE-2.0


  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->

<configuration>

  <!-- Site specific YARN configuration properties -->

<property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

</property>

<property>

  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

  <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

  <name>yarn.resourcemanager.address</name>

  <value>master:8032</value>

</property>

<property>

  <name>yarn.resourcemanager.scheduler.address</name>

  <value>master:8030</value>

</property>

<property>

  <name>yarn.resourcemanager.resource-tracker.address</name>

  <value>master:8035</value>

</property>

<property>

  <name>yarn.resourcemanager.admin.address</name>

  <value>master:8033</value>

</property>

<property>

  <name>yarn.resourcemanager.webapp.address</name>

  <value>master:8088</value>

</property>

</configuration>


11.7、格式化namenode


# hdfs namenode -format

 張軍博客

 


11.8、jps查看進(jìn)程


#jps

 張軍博客


11.9、啟動服務(wù)

#start-all.sh

[root@master hadoop]# jps

5425 Jps

[root@master hadoop]# start-all.sh

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

Starting namenodes on [master]

master: starting namenode, logging to /home/hadoop/soft/hadoop-2.7.5/logs/hadoop-root-namenode-master.out

localhost: starting datanode, logging to /home/hadoop/soft/hadoop-2.7.5/logs/hadoop-root-datanode-master.out

Starting secondary namenodes [0.0.0.0]

0.0.0.0: starting secondarynamenode, logging to /home/hadoop/soft/hadoop-2.7.5/logs/hadoop-root-secondarynamenode-master.out

starting yarn daemons

starting resourcemanager, logging to /home/hadoop/soft/hadoop-2.7.5/logs/yarn-root-resourcemanager-master.out

localhost: starting nodemanager, logging to /home/hadoop/soft/hadoop-2.7.5/logs/yarn-root-nodemanager-master.out

[root@master hadoop]# jps

5682 DataNode

5843 SecondaryNameNode

5559 NameNode

6103 NodeManager

6007 ResourceManager

6415 Jps

[root@master hadoop]#

 張軍博客


http://master:8088

http://192.168.0.10:8088

MapReduce的Web界面

http://master:50030

HDFS的Web界面

http://master:50070

張軍博客

張軍博客


 

 張軍博客

張軍博客

 

 














本文為張軍原創(chuàng)文章,轉(zhuǎn)載無需和我聯(lián)系,但請注明來自張軍的軍軍小站,個人博客http://www.dlhighland.cn

更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索：z360901061

微信掃一掃加我為好友

QQ號聯(lián)系： 360901061

您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。

【本文對您有幫助就好】元

您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧，站長會非常 感謝您的哦！??！

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板： 亚洲国产成人在线 | 亚洲精品第一页 | 久久精热| 日韩av成人 | 福利视频在线观看www. | 欧美黄一片 | 久久久www成人免费无遮挡大片 | 欧美性生活久久 | 国产色| 午夜视频在线免费播放 | 亚洲综合国产 | 天天干天天色综合 | 欧美最新一区二区三区四区 | 国产美女www爽爽爽免费视频 | 耽美男男肉文 | 天堂在线观看中文字幕 | 高清视频在线观看 免费 | 色姑娘综合网 | 国产精品久久久久久无码人妻 | 国内精品久久毛片一区二区 | 亚洲成人一区 | 亚洲欧美日韩一级特黄在线 | 日韩久久久久久 | 在线观看免费国产视频 | 精品日韩欧美一区二区三区在线播放 | 亚洲精品欧美视频 | 国产专区欧美 | 国产精品三级a三级三级午夜 | 97婷婷狠狠成人免费视频 | 欧美一区二区三区爽大粗免费 | 中文乱码一二三四有限公司 | 人人爱国产 | 久久精品视频一区二区 | 国内精品一区二区在线观看 | 性香港xxxxx免费视频播放 | 欧美国产精品久久 | 亚洲一区二区视频 | 91婷婷韩国欧美一区二区 | 国产成人a| 天天操天天爱天天干 | 天天影视综合网色综合国产 |