1. 安裝hive
2. hive實戰
3. hive存儲模型
4. 深入hql查詢語言
5. 參考資料及代碼下載?
<1>. 安裝hive ?
下載hive，下載地址 http://mirror.bjtu.edu.cn/apache//hive/ ，解壓該文件：
xuqiang@ubuntu:~/hadoop/src/hive$ tar zxvf hive-0.7.0-bin.tar.gz
設置環境變量：
xuqiang@ubuntu:~/hadoop/src/hive$ cd hive-0.7.0-bin/
xuqiang@ubuntu:~/hadoop/src/hive/hive-0.7.0-bin$ export HIVE_HOME=`pwd`
添加HIVE_HOME到環境變量PATH中：
xuqiang@ubuntu:~/hadoop/src/hive$ export PATH=$HIVE_HOME/bin:$PATH;
在運行hive之前，請確保變量HADOOP_HOME已經設置，如果沒有設置，可以使用export命令設置該變量。
然后需要在hdfs上創建如下的目錄來保存hive相關的數據。
xuqiang@ubuntu:~ / hadoop / src / hive $ ? $ HADOOP_HOME / bin / hadoop?fs?- mkdir ? / user / hive / warehouse
xuqiang@ubuntu:~ / hadoop / src / hive $ ? $ HADOOP_HOME / bin / hadoop?fs?-chmod?g + w? / tmp
xuqiang@ubuntu:~ / hadoop / src / hive $ ? $ HADOOP_HOME / bin / hadoop?fs?-chmod?g + w? / user / hive / warehouse
?
此時運行hive的環境已經準備好了，在命令行中鍵入如下命令開始運行hive：
?
<2>. hive實戰 ?
這里我們將完成這樣的一個過程，首先創建一個表，從本機上加載數據到該表中，查詢該表，得到我們感興趣的數據。
首先創建表（具體語法將在下面給出）：
> ?row? format ?delimited
> ?fields?terminated?by?' , '
> ?stored?as?textfile ;
?
創建完表之后，我們可以使用show tables命令查看新建的表：
OK
cite
Time ?taken:? 1.257 ?seconds
?
查看新建表的結構：
OK
citing?int
cited?int
Time ?taken:? 0.625 ?seconds
?
我們加載本地數據到該表中去：
> ?overwrite?into?table?cite ;
Copying?data?from?file: / home / xuqiang / hadoop / data / cite75_99 . txt
Copying?file:?file: / home / xuqiang / hadoop / data / cite75_99 . txt
Loading?data?to?table?default . cite
Deleted?hdfs: // localhost: 9000 / user / hive / warehouse / cite
OK
Time ?taken:? 89.766 ?seconds
?
查詢前10行數據：
OK
NULL?NULL
3858241 ? 956203
3858241 ? 1324234
3858241 ? 3398406
3858241 ? 3557384
3858241 ? 3634889
3858242 ? 1515701
3858242 ? 3319261
3858242 ? 3668705
3858242 ? 3707004
Time ?taken:? 0.778 ?seconds
?
查詢該文件中存在多少條數據，這時hive將執行一個map-reduce的過程來計算該值：
Total?MapReduce?jobs? = ? 1
Launching?Job? 1 ?out?of? 1
Number?of?reduce?tasks?determined?at?compile? time :? 1
In?order?to?change?the?average?load? for ?a?reducer? ( in?bytes ) :
set ?hive . exec . reducers . bytes . per . reducer =< number >
In?order?to?limit?the?maximum?number?of?reducers:
set ?hive . exec . reducers . max =< number >
In?order?to? set ?a?constant?number?of?reducers:
set ?mapred . reduce . tasks =< number >
Starting?Job? = ?job_201106150005_0004 , ?Tracking?URL? = ?http: // localhost: 50030 / jobdetails . jsp?jobid = job_201106150005_0004
Kill? Command ? = ? / home / xuqiang / hadoop / src / hadoop- 0.20 . 2 / bin /../ bin / hadoop?job?-Dmapred . job . tracker = localhost: 9001 ?-kill?job_201106150005_0004
2011 - 06 - 15 ? 05 : 33 : 20 , 724 ?Stage- 1 ?map? = ? 0 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 33 : 46 , 325 ?Stage- 1 ?map? = ? 2 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 33 : 49 , 827 ?Stage- 1 ?map? = ? 3 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 33 : 53 , 208 ?Stage- 1 ?map? = ? 4 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 33 : 55 , 259 ?Stage- 1 ?map? = ? 7 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 34 : 40 , 450 ?Stage- 1 ?map? = ? 9 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 34 : 52 , 706 ?Stage- 1 ?map? = ? 48 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 34 : 57 , 961 ?Stage- 1 ?map? = ? 50 % , ?reduce? = ? 0 %
2011 - 06 - 15 ? 05 : 35 : 28 , 420 ?Stage- 1 ?map? = ? 50 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 35 : 36 , 653 ?Stage- 1 ?map? = ? 58 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 35 : 40 , 844 ?Stage- 1 ?map? = ? 61 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 35 : 49 , 131 ?Stage- 1 ?map? = ? 62 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 35 : 56 , 428 ?Stage- 1 ?map? = ? 67 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 36 : 34 , 380 ?Stage- 1 ?map? = ? 90 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 36 : 52 , 601 ?Stage- 1 ?map? = ? 100 % , ?reduce? = ? 17 %
2011 - 06 - 15 ? 05 : 37 : 10 , 299 ?Stage- 1 ?map? = ? 100 % , ?reduce? = ? 67 %
2011 - 06 - 15 ? 05 : 37 : 16 , 471 ?Stage- 1 ?map? = ? 100 % , ?reduce? = ? 100 %
Ended?Job? = ?job_201106150005_0004
OK
16522439
Time ?taken:? 274.531 ?seconds
?
好的，最后我們刪除剛剛新建的表：
OK
Time ?taken:? 5.724 ?seconds
?
<3>. 存儲模型 ?
通常情況下hive將數據存儲到hadoop上/user/hive/warehouse目錄下，關系型數據庫使用索引index去加快查詢速度，而hive使用的是以惡搞所謂的partition columns的概念，例如比如說存在某一行叫做state，可以根據state中存儲的數據值，將state分為50個partitions。如果存在date列的話，那么通常按照時間進行partition，hive在對分區的列上進行查詢的速度會比較快，原因是hadoop在數據存儲上將不同的分區存儲在了不同的目錄文件下。例如對于上面的列state和date，可能的存儲模型如下：
當然每個分區內的數據文件可能還是比較大，幸好在hive中存在一個所謂的buckets的概念，buckets根據hash值將數據分割成更小的數據文件，還是上面的例子，如果使用buckets的話，可能的存儲模型如下：
<4>. 深入hql ?
我們將通過實際hql語句來分析hql的語法。
該條語句創建表page_view，表中有5列，同時在見表語句中指出了各個列的數據類型，在hive中內建支持的數據類型如下：
這些類型的層次結構如下：
層次結構中允許從子類型隱式的轉換成父類型。
接著回到上面的見表語句，在列ip中添加了注釋：
Ip STRING COMMENT (“Ip address of user”)
然后建表語句中添加了表的分區：
Partitioned by (dt string, country string)
注意的是這里的兩列并不是表中的列，實際上這里的分區的兩列dt和country僅僅是為了分區，實際上可能并不存儲這些數據。
Additionally the partitioned by clause defines the partitioning columns which are different from the data columns and are actually not stored with the data. When specified in this way
然后建表語句指定buckets大小，這里是32。
最后指定數據源的文件格式。
好的現在我們給出更多的表操作的例子，由于sql極其相似，這里僅僅給出了語法，并沒有給出解釋。
描述表page_view結構。
改變表的名字
新增加一行
刪除分區
刪除表
顯示所有的表
從文件page_view.txt文件將數據加載到表page_view中，注意的是這里的路徑可以使用絕對路徑或者相對路徑。這里使用了local，表明數據文件的來源是本地，而不是在hdfs上。
Hql上的查詢語句和sql很類似，這里沒有一一給出，下面僅僅將給出hql中運算符和內建聚類函數。
運算符：
內建聚類函數：
<5>. 參考資料及代碼下載 ?
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
