hive實戰(zhàn) - qiang.xu - 博客園

hive實戰(zhàn)

1. 安裝hive

2. hive實戰(zhàn)

3. hive存儲模型

4. 深入hql查詢語言

5. 參考資料及代碼下載?

<1>. 安裝hive ? ?

下載hive，下載地址 http://mirror.bjtu.edu.cn/apache//hive/ ，解壓該文件：

xuqiang@ubuntu:~/hadoop/src/hive$ tar zxvf hive-0.7.0-bin.tar.gz

設置環(huán)境變量：

xuqiang@ubuntu:~/hadoop/src/hive$ cd hive-0.7.0-bin/

xuqiang@ubuntu:~/hadoop/src/hive/hive-0.7.0-bin$ export HIVE_HOME=`pwd`

添加HIVE_HOME到環(huán)境變量PATH中：

xuqiang@ubuntu:~/hadoop/src/hive$ export PATH=$HIVE_HOME/bin:$PATH;

在運行hive之前，請確保變量HADOOP_HOME已經(jīng)設置，如果沒有設置，可以使用export命令設置該變量。

然后需要在hdfs上創(chuàng)建如下的目錄來保存hive相關的數(shù)據(jù)。

?

xuqiang@ubuntu:~ / hadoop / src / hive $ ? $ HADOOP_HOME / bin / hadoop?fs?- mkdir ? / tmp
xuqiang@ubuntu:~ / hadoop / src / hive $ ? $ HADOOP_HOME / bin / hadoop?fs?- mkdir ? / user / hive / warehouse
xuqiang@ubuntu:~ / hadoop / src / hive $ ? $ HADOOP_HOME / bin / hadoop?fs?-chmod?g + w? / tmp
xuqiang@ubuntu:~ / hadoop / src / hive $ ? $ HADOOP_HOME / bin / hadoop?fs?-chmod?g + w? / user / hive / warehouse

?

此時運行hive的環(huán)境已經(jīng)準備好了，在命令行中鍵入如下命令開始運行hive：

?

xuqiang@ubuntu:~ / hadoop / src / hive / hive- 0.7 . 0 -bin $ ? $ HIVE_HOME / bin / hive

?

<2>. hive實戰(zhàn) ?

這里我們將完成這樣的一個過程，首先創(chuàng)建一個表，從本機上加載數(shù)據(jù)到該表中，查詢該表，得到我們感興趣的數(shù)據(jù)。

首先創(chuàng)建表（具體語法將在下面給出）：

?

hive > ?create?table?cite ( citing?INT , ?cited?INT )
> ?row? format ?delimited
> ?fields?terminated?by?' , '
> ?stored?as?textfile ;

?

創(chuàng)建完表之后，我們可以使用show tables命令查看新建的表：

?

hive > ?show?tables ;
OK
cite
Time ?taken:? 1.257 ?seconds

?

查看新建表的結構：

?

hive > ?describe?cite ;
OK
citing?int
cited?int
Time ?taken:? 0.625 ?seconds

?

我們加載本地數(shù)據(jù)到該表中去：

?

hive > ?load?data?local?inpath?' / home / xuqiang / hadoop / data / cite75_99 . txt'
> ?overwrite?into?table?cite ;
Copying?data?from?file: / home / xuqiang / hadoop / data / cite75_99 . txt
Copying?file:?file: / home / xuqiang / hadoop / data / cite75_99 . txt
Loading?data?to?table?default . cite
Deleted?hdfs: // localhost: 9000 / user / hive / warehouse / cite
OK
Time ?taken:? 89.766 ?seconds

?

查詢前10行數(shù)據(jù)：

?

hive > ? select ?*?from?cite?limit? 10 ;
OK
NULL?NULL
3858241 ? 956203
3858241 ? 1324234
3858241 ? 3398406
3858241 ? 3557384
3858241 ? 3634889
3858242 ? 1515701
3858242 ? 3319261
3858242 ? 3668705
3858242 ? 3707004
Time ?taken:? 0.778 ?seconds

?

查詢該文件中存在多少條數(shù)據(jù)，這時hive將執(zhí)行一個map-reduce的過程來計算該值：

?

hive > ? select ?count ( 1 ) ?from?cite ;
Total?MapReduce?jobs? = ? 1
Launching?Job? 1 ?out?of? 1
Number?of?reduce?tasks?determined?at?compile? time :? 1
In?order?to?change?the?average?load? for ?a?reducer? ( in?bytes ) :
set ?hive . exec . reducers . bytes . per . reducer =< number >
In?order?to?limit?the?maximum?number?of?reducers:
set ?hive . exec . reducers . max =< number >
In?order?to? set ?a?constant?number?of?reducers:
set ?mapred . reduce . tasks =< number >
Starting?Job? = ?job_201106150005_0004 , ?Tracking?URL? = ?http: // localhost: 50030 / jobdetails . jsp?jobid = job_201106150005_0004
Kill? Command ? = ? / home / xuqiang / hadoop / src / hadoop- 0.20 . 2 / bin /../ bin / hadoop?job?-Dmapred . job . tracker = localhost: 9001 ?-kill?job_201106150005_0004
2011 - 06 - 15 ? 05 : 33 : 20 , 724 ?Stage- 1 ?map? = ? 0 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 33 : 46 , 325 ?Stage- 1 ?map? = ? 2 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 33 : 49 , 827 ?Stage- 1 ?map? = ? 3 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 33 : 53 , 208 ?Stage- 1 ?map? = ? 4 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 33 : 55 , 259 ?Stage- 1 ?map? = ? 7 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 34 : 40 , 450 ?Stage- 1 ?map? = ? 9 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 34 : 52 , 706 ?Stage- 1 ?map? = ? 48 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 34 : 57 , 961 ?Stage- 1 ?map? = ? 50 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 35 : 28 , 420 ?Stage- 1 ?map? = ? 50 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 35 : 36 , 653 ?Stage- 1 ?map? = ? 58 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 35 : 40 , 844 ?Stage- 1 ?map? = ? 61 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 35 : 49 , 131 ?Stage- 1 ?map? = ? 62 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 35 : 56 , 428 ?Stage- 1 ?map? = ? 67 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 36 : 34 , 380 ?Stage- 1 ?map? = ? 90 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 36 : 52 , 601 ?Stage- 1 ?map? = ? 100 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 37 : 10 , 299 ?Stage- 1 ?map? = ? 100 % , ?reduce? = ? 67 %
2011 - 06 - 15 ? 05 : 37 : 16 , 471 ?Stage- 1 ?map? = ? 100 % , ?reduce? = ? 100 %
Ended?Job? = ?job_201106150005_0004
OK
16522439
Time ?taken:? 274.531 ?seconds

?

好的，最后我們刪除剛剛新建的表：

?

hive > ?drop?table?cite ;
OK
Time ?taken:? 5.724 ?seconds

?

<3>. 存儲模型 ? ?

通常情況下hive將數(shù)據(jù)存儲到hadoop上/user/hive/warehouse目錄下，關系型數(shù)據(jù)庫使用索引index去加快查詢速度，而hive使用的是以惡搞所謂的partition columns的概念，例如比如說存在某一行叫做state，可以根據(jù)state中存儲的數(shù)據(jù)值，將state分為50個partitions。如果存在date列的話，那么通常按照時間進行partition，hive在對分區(qū)的列上進行查詢的速度會比較快，原因是hadoop在數(shù)據(jù)存儲上將不同的分區(qū)存儲在了不同的目錄文件下。例如對于上面的列state和date，可能的存儲模型如下：

當然每個分區(qū)內的數(shù)據(jù)文件可能還是比較大，幸好在hive中存在一個所謂的buckets的概念，buckets根據(jù)hash值將數(shù)據(jù)分割成更小的數(shù)據(jù)文件，還是上面的例子，如果使用buckets的話，可能的存儲模型如下：

<4>. 深入hql ? ?

我們將通過實際hql語句來分析hql的語法。

該條語句創(chuàng)建表page_view，表中有5列，同時在見表語句中指出了各個列的數(shù)據(jù)類型，在hive中內建支持的數(shù)據(jù)類型如下：

這些類型的層次結構如下：

層次結構中允許從子類型隱式的轉換成父類型。

接著回到上面的見表語句，在列ip中添加了注釋：

Ip STRING COMMENT (“Ip address of user”)

然后建表語句中添加了表的分區(qū)：

Partitioned by (dt string, country string)

注意的是這里的兩列并不是表中的列，實際上這里的分區(qū)的兩列dt和country僅僅是為了分區(qū)，實際上可能并不存儲這些數(shù)據(jù)。

Additionally the partitioned by clause defines the partitioning columns which are different from the data columns and are actually not stored with the data. When specified in this way

然后建表語句指定buckets大小，這里是32。

最后指定數(shù)據(jù)源的文件格式。

好的現(xiàn)在我們給出更多的表操作的例子，由于sql極其相似，這里僅僅給出了語法，并沒有給出解釋。

描述表page_view結構。

改變表的名字

新增加一行

刪除分區(qū)

刪除表

顯示所有的表

從文件page_view.txt文件將數(shù)據(jù)加載到表page_view中，注意的是這里的路徑可以使用絕對路徑或者相對路徑。這里使用了local，表明數(shù)據(jù)文件的來源是本地，而不是在hdfs上。

Hql上的查詢語句和sql很類似，這里沒有一一給出，下面僅僅將給出hql中運算符和內建聚類函數(shù)。

運算符：

內建聚類函數(shù)：

<5>. 參考資料及代碼下載 ? ?

http://wiki.apache.org/hadoop/Hive/GettingStarted

hive實戰(zhàn) - qiang.xu - 博客園