宏觀上，Hadoop每個作業要經歷兩個階段：Mapphase和reducephase。對于Mapphase，又主要包含四個子階段：從磁盤上讀數據-》執行map函數-》combine結果-》將結果寫到本地磁盤上；對于reducephase，同樣包含四個子階段：從各個maptask上讀相應的數據（shuffle）-》sort-》執行reduce函數-》將結果寫到HDFS中。Hadoop處理流程中的兩個子階段嚴重降低了其性能。第一個是map階段產生的中間結果要寫
系統 2019-08-12 09:30:30 3265
小Byte和小Dance玩一種叫“開火車的”紙牌游戲，游戲規則如下：1.初始給兩人隨機平分52張撲克牌，每個人26張;2.小Byte先開始，將第一張牌放下;3.隨后兩人輪流按序（按從第一張到最后一張的順序出牌，手中牌的順序不可以被打亂）放置撲克，后一張撲克壓在前一張撲克上;4.如果出現之前放下的某張撲克s和將要放下的撲克t點數相同，則當前玩家獲得從s到t之間所有的牌（包括s和t這兩張）;5.玩家手上26張牌都出完后，清點雙方獲得的牌數，牌數多的玩家獲勝，若
系統 2019-09-27 17:48:35 3264
最近在測試HCatalog，由于Hcatalog本身就是一個獨立JAR包，雖然它也可以運行service，但是其實這個service就是metastorethriftserver，我們在寫基于Hcatalog的mapreducejob時候只要把hcatalogJAR包和對應的hive-site.xml文件加入libjars和HADOOP_CLASSPATH中就可以了。不過在測試的時候還是遇到了一些問題，hivemetastoreserver在運行了一段時間
系統 2019-08-12 01:52:10 3264
文字變換顏色樣式
