1. 介紹

本文介紹的Hadoop權(quán)限管理包括以下幾個模塊：

（1） 用戶分組管理 。用于按組為單位組織管理，某個用戶只能向固定分組中提交作業(yè)，只能使用固定分組中配置的資源；同時可以限制每個用戶提交的作業(yè)數(shù)，使用的資源量等

（2） 作業(yè)管理 。包括作業(yè)提交權(quán)限控制，作業(yè)運行狀態(tài)查看權(quán)限控制等。如：可限定可提交作業(yè)的用戶；可限定可查看作業(yè)運行狀態(tài)的用戶；可限定普通用戶只能修改自己作業(yè)的優(yōu)先級，kill自己的作業(yè)；高級用戶可以控制所有作業(yè)等。

想要支持權(quán)限管理需使用Fair Scheduler或者 Capacity Scheduler（作業(yè)管理需用到Hadoop的ACL(Access Control List)功能，啟用該功能需選擇一個支持多隊列管理的調(diào)度器）

2. 基本術(shù)語

(1) 用戶（User） ：Hadoop使用Linux用戶管理，Hadoop中的用戶就是Linux中的用戶

(2) 分組（group） ：Hadoop使用Linux分組管理，Hadoop中的分組就是Linux中的分組

(3) 池（pool） ：Hadoop Fair Scheduler中的概念，一個pool可以是一個user，一個group，或者一個queue。

(4) 隊列（Queue） ：隊列是Hadoop提出的概念，一個Queue可以由任意幾個Group和任意幾個User組成。

3. Hadoop中Fair Scheduler與Capacity Scheduler介紹

3.1 Fair Scheduler

Facebook開發(fā)的適合共享環(huán)境的調(diào)度器，支持多用戶多分組管理，每個分組可以配置資源量，也可限制每個用戶和每個分組中的并發(fā)運行作業(yè)數(shù)量；每個用戶的作業(yè)有優(yōu)先級，優(yōu)先級越高分配的資源越多。

3.2 Capacity Scheduler

Yahoo開發(fā)的適合共享環(huán)境的調(diào)度器，支持多用戶多隊列管理，每個隊列可以配置資源量，也可限制每個用戶和每個隊列的并發(fā)運行作業(yè)數(shù)量，也可限制每個作業(yè)使用的內(nèi)存量；每個用戶的作業(yè)有優(yōu)先級，在單個隊列中，作業(yè)按照先來先服務(wù)（實際上是先按照優(yōu)先級，優(yōu)先級相同的再按照作業(yè)提交時間）的原則進行調(diào)度。

3.3 Fair Scheduler vs Capacity Scheduler

（1） 相同點

[1] 均支持多用戶多隊列，即：適用于多用戶共享集群的應(yīng)用環(huán)境

[2] 單個隊列均支持優(yōu)先級和FIFO調(diào)度方式

[3] 均支持資源共享，即某個queue中的資源有剩余時，可共享給其他缺資源的queue

（2） 不同點

[1] 核心調(diào)度策略不同。 計算能力調(diào)度器的調(diào)度策略是，先選擇資源利用率低的queue，然后在queue中同時考慮FIFO和memory constraint因素；而公平調(diào)度器僅考慮公平，而公平是通過作業(yè)缺額體現(xiàn)的，調(diào)度器每次選擇缺額最大的job（queue的資源量，job優(yōu)先級等僅用于計算作業(yè)缺額）。

[2] 內(nèi)存約束。計算能力調(diào)度器調(diào)度job時會考慮作業(yè)的內(nèi)存限制，為了滿足某些特殊job的特殊內(nèi)存需求，可能會為該job分配多個slot；而公平調(diào)度器對這種特殊的job無能為力，只能殺掉這種task。

（3） 功能上的不同

Fair Scheduler不允許配置每個user使用的slot數(shù)上限，但允許搶占資源 ；而Capacity scheduler允許配置每個user使用的slot數(shù)上限，但暫時不支持資源搶占 。

4. 用戶分組管理

以Fair Scheduler（http://hadoop.apache.org/common/docs/r0.20.0/fair_scheduler.html ）為例,按以下步驟進行：

(1) 將Fair Scheduler的jar包拷貝到lib中

如：cp ${HADOOP_HOME}/contrib/fairscheduler/hadoop-fairscheduler-0.20.2+320.jar ${HADOOP_HOME}/lib/

(2) 配置Queue相關(guān)信息

具體參考：

http://hadoop.apache.org/common/docs/r0.20.2/cluster_setup.html#Configuring+the+Hadoop+Daemons

在mapred-site.xml中添加以下內(nèi)容：

說明：

【1】 屬性mapred.queue.names是queue的所有名字，在這一名字中，必須有一個叫“default”的queue

【2】 每個queue均有一個屬性mapred.queue.<queue-name>.acl-submit-job，用于指定哪些user或者group可以向該queue中提交作業(yè)

【3】每個queue均有一個屬性mapred.queue.<queue-name>.acl-administer-jobs，用于指定哪些user或者group可以管理該queue中的所有作業(yè)，即可以kill作業(yè)，查看task運行狀態(tài)。一般而言，對于每個隊列，該選項為空即可，表示每個user只能管理自己的作業(yè)。

【4】 每個queue擁有的資源量和其他信息均在另外一個配置文件中指定（對于公平調(diào)度器，可以在fair-scheduler.xml中指定）

【5】 mapred.queue.<queue-name>.acl-submit-job和mapred.queue.<queue-name>.acl-administer-jobs配置方法如下：

用戶和用戶組之間用空格分開，用戶之間用“，”分割，用戶組之間用“，”分割，如果queue的屬性值中只有用戶組，則前面保留一個空格。

(3) 配置fair scheduler相關(guān)信息

在mapred-site.xml中添加以下內(nèi)容：

說明：

mapred.fairscheduler.poolnameproperty有三個可用值：默認情況下是user.name，即每個用戶獨自一個pool；group.name，即一個linux group一個pool，mapred.job.queue.name，即一個queue一個pool，如果要支持“作業(yè)管理”，需使用最后一種配置。

(4) 創(chuàng)建文件fair-scheduler.xml，并添加以下內(nèi)容：

說明：

【1】各個字段的含義

<pool></pool>之間配置的是每個pool的信息，主要如下：

(a) minMaps：該pool可使用的map slot數(shù)

(b) minReduces：該pool可使用的reduce slot數(shù)

(c) maxRunningJobs：該pool最大運行作業(yè)數(shù)

(d) minSharePreemptionTimeout：該pool搶占資源的時間間隔，即本屬于自己的資源在改時間內(nèi)拿不到便會搶占。

(e) Weight：pool的權(quán)重，該值越大，能夠從共享區(qū)（有一些pool中的資源用不完，會共享給其他pool）中獲取的資源越多。

<user></user>之間配置某個用戶的約束：

maxRunningJobs：該用戶可同時運行的作業(yè)數(shù)

<poolMaxJobsDefault></poolMaxJobsDefault>之間配置默認情況下每個pool最大運行作業(yè)數(shù)

<userMaxJobsDefault></userMaxJobsDefault>之間配置默認情況下每個user最大運行作業(yè)數(shù)

……

【2】 該配置文件中可動態(tài)修改無需重啟Hadoop（修改后3s會被重新加載）

5. 作業(yè)管理

作業(yè)管理模塊由Hadoop的ACL（http://hadoop.apache.org/common/docs/r0.20.2/service_level_auth.html ）完成。

(1) 在core-site.xmll中配置以下屬性：

(2) 配置${HADOOP_CONF_DIR}/hadoop-policy.xml

Hadoop有9個可配置的ACL屬性，每個屬性可指定擁有相應(yīng)訪問權(quán)限的用戶或者用戶組。這9個ACL屬性如下：

這9個ACL的配置方法相同，具體如下：

每個ACL可配置多個用戶，用戶之間用“，”分割；可配置多個用戶組，分組之間用“，”分割， 用戶和分組之間用空格分割，如果只有分組，前面保留一個空格，如：

說明： 用戶alice和bob， 分組group1和group2可提交作業(yè)

又如：

說明：只有g(shù)roup3可訪問HDFS

說明：所有用戶和分組均可訪問HDFS

注意，默認情況下，這9個屬性不對任何用戶和分組開放。

該配置文件可使用以下命令動態(tài)加載：

(1) 更新namenode相關(guān)屬性： bin/hadoop dfsadmin –refreshServiceAcl

(2) 更新jobtracker相關(guān)屬性：bin/hadoop mradmin -refreshServiceAcl

6. 提交作業(yè)

用戶提交作業(yè)時，需用mapred.job.queue.name屬性告訴Hadoop你要將作業(yè)提交到哪個Queue中，具體如下：

（1） 如果你是用Java編寫Hadoop作業(yè)，用-D mapred.job.queue.name指明提交到哪個queue，如：

（2） 如果你使用Hadoop Pipes編寫作業(yè)，用-D mapred.job.queue.name指明提交到哪個queue，如：

（3） 如果你使用Hadoop Streaming編寫作業(yè)，用-D mapred.job.queue.name指明提交到哪個queue，如：

7. 參考資料

http://hadoop.apache.org/common/docs/r0.20.2/cluster_setup.html#Configuring+the+Hadoop+Daemons

http://hadoop.apache.org/common/docs/r0.20.2/service_level_auth.html

http://hadoop.apache.org/common/docs/r0.20.0/fair_scheduler.html

hadoop權(quán)限管理