無意間在部門的svn看到以前老員工的Hive優化文檔，看看了，寫的挺詳細的，結合hadoopInaction(陸)一書的內容在這里做個匯總1,列裁剪在讀數據的時候，只讀取查詢中需要用到的列，而忽略其他列。例如，對于查詢：1SELECTa,bFROMTWHEREe<10;其中，T包含5個列(a,b,c,d,e)，列c，d將會被忽略，只會讀取a,b,e列這個選項默認為真：hive.optimize.cp=true2，分區裁剪在查詢的過程中減少不必要的分區。例如
系統 2019-08-12 01:31:41 3557
使用curl的多線程，另外curl可以設置請求時間，遇到很慢的url資源，可以果斷的放棄，這樣沒有阻塞，另外有多線程請求，效率應該比較高，參考：《CURL的學習和應用[附多線程]》，我們再來測試一下；核心代碼：/***curl多線程**@paramarray$array并行網址*@paramint$timeout超時時間*@returnmix*/publicfunctionCurl_http($array,$timeout='15'){$res=array
系統 2019-08-29 23:08:51 3556
我第一次接觸爬蟲這東西是在今年的5月份，當時寫了一個博客搜索引擎，所用到的爬蟲也挺智能的，起碼比電影來了這個站用到的爬蟲水平高多了！回到用Python寫爬蟲的話題。Python一直是我主要使用的腳本語言，沒有之一。Python的語言簡潔靈活，標準庫功能強大，平常可以用作計算器，文本編碼轉換，圖片處理，批量下載，批量處理文本等。總之我很喜歡，也越用越上手，這么好用的一個工具，一般人我不告訴他。。。因為其強大的字符串處理能力，以及urllib2，cookiel
系統 2019-09-27 17:46:00 3555
裝飾模式定義：以對客戶端透明的方式擴展對象的功能，是繼承關系的一個替代方案。裝飾模式的構件包括抽象構件、具體構件、抽象裝飾、具體裝飾。對于透明的裝飾模式，客戶端面向抽象構件編程，所以是透明的（對所有的裝飾視而不見）。對半透明的裝飾模式，客戶端面向具體裝飾編程，因為要使用具體裝飾的特殊方法（不在抽象構件和抽象裝飾里面），無法實現完全透明。裝飾模式的原理是逐層包裹并加入新功能。把地球結構想象成裝飾模式，內核就是具體構件，外核、地幔等就是具體裝飾。裝飾模式的應用
系統 2019-08-29 22:31:04 3555
首先只要遇到提示GBK、UTF-8或亂碼顯示字樣等，這些肯定是編碼問題。為了解決問題還特意了解了下UTF-8與GBK之間的區別和關系。修改file.encoding系統變量編碼為UTF-8問題情景：python腳本已經調通過的自動化項目，部署到Jenkins上后，使用jenkins構建，控制臺print輸出報錯，如下圖：控制臺輸出：分析問題：我們知道，windows的控制臺默認編碼就是'GBK'，而我們代碼編碼格式是utf-8，因為Jenkins會默認讀取
系統 2019-09-27 17:51:23 3554
當在hibernate中運用原始的sql語句進行操作的的時候，常常會報錯，錯誤很多都是關于NoDialectmappingforJDBCtype類型的錯誤，經過分析和查找，問題常常發生在幾個地方1、錯誤的配置了hibernate的方言2、就是你的數據庫中的字段和java里面的類型不匹配的問題具體信息如：eg：Sessionsession=HibernateSessionFactory.getSession();Stringsql="SELECTDaymar
系統 2019-08-29 23:40:22 3554
《Android開發視頻教學》www.marsdroid.org/Android開發視頻教程--更新騰訊微博項目課程[MP4][Android開發視頻教學].01_01_Android平臺一日游.mp4詳情20.6MB[Android開發視頻教學].01_02_搭建Android開發環境.mp4詳情39.3MB[Android開發視頻教學].01_03_say_hello_to_Android.mp4詳情35.8MB[Android開發視頻教學].01_0
系統 2019-08-29 22:53:56 3553
在這一節將向我們演示如何在AdobeFlexBuilder中創建基于約束的布局。當用戶調整程序窗口時，基于約束的布局保證我們用戶界面中的組件進行自動調整。設置我們的工程在我們開始這一節之前，我們要先完成下面的任務：如果我們還沒有創建工程，創建Lessons工程。確保打開了自動構建選項。了解Flex中的基于約束的布局當用戶調整一個Flex程序窗口時，我們希望布局中的組件可以進行自動調整。當用戶調整程序窗口時，一個約束的布局可以調整組件的尺寸和位置。為了創建一
系統 2019-08-29 23:34:02 3550
這個表格不是table的表格,而且使用div的ul和li組成的表格形式。HTML頁面效果如下:HTML頁面代碼如下：tablegird.html
系統 2019-08-12 09:29:57 3550
C#制作Windows服務安裝包這兩天公司要用C#寫一個windows服務，做成安裝安裝包。制作的過程中遇到了一些問題，寫完之后總結一下。如果以后在用到的話可以可以參考一下，而且由于原來沒有做過，不知道這樣做是對是不對，請各位看官如果發現有不當之處請指教。開始的時候我的開發工具VS2012，需要用InstallShield，沒鬧明白，時間緊迫沒有搞，改用vs2010。首先創建一個windows服務：添加安裝程序:設置服務的屬性：這里面簡單設置一下服務的屬性
系統 2019-08-12 01:33:54 3550
作者：朱先忠文章來源：yesky本文將向你展示怎樣用NetBeans4.0創建一個J2MEMIDPRSSReader應用程序。通過使用RSSReader，你可以用你的移動設備實現讀取RSS回饋信息。這個應用程序的設計是與MIDP1.0一起工作的，因此它可以與一些舊設備相兼容。如果你是RSS的新手，那么告訴你它代表ReallySimpleSyndication（簡易信息聚合）。RSS是一種輕量級的XML格式-為分享標題和另外如博客和新聞等信息而設計。下面是運
系統 2019-08-29 23:44:05 3548
上一篇文章，講解了jQuery.ajax函數。這篇文章將其他一些細節補充完。下一篇文章則開始講解，jQuery是如何將script動態載入、XMLHttpRequest、JSONP一起包裝進jQuery.ajax里的。jQuery.ajaxSetup我們可以從主函數看出，參數是通過jQuery.ajaxSetup產生的：//通過jQuery.ajaxSetup改造參數對象s=jQuery.ajaxSetup({},options),那么jQuery.aja
系統 2019-08-12 01:33:23 3548
常用的網站性能測試指標有：并發數、響應時間、吞吐量、性能計數器等。1、并發數并發數是指系統同時能處理的請求數量，這個也是反應了系統的負載能力。2、響應時間響應時間是一個系統最重要的指標之一，它的數值大小直接反應了系統的快慢。響應時間是指執行一個請求從開始到最后收到響應數據所花費的總體時間。3、吞吐量吞吐量是指單位時間內系統能處理的請求數量，體現系統處理請求的能力，這是目前最常用的性能測試指標。QPS（每秒查詢數）、TPS（每秒事務數）是吞吐量的常用量化指標
系統 2019-09-27 17:56:44 3547
子線程里是不能更新UI界面的，在移動端方面。Android的UI訪問是沒有加鎖的，多個線程可以同時訪問更新操作同一個UI控件。也就是說訪問UI的時候，android系統當中的控件都不是線程安全的，這將導致在多線程模式下，當多個線程共同訪問更新操作同一個UI控件時容易發生不可控的錯誤。所以Android中規定只能在UI線程中訪問UI，相當于從另一個角度給Android的UI訪問加上鎖，一個偽鎖。在PyQT5中使用QThreadfromPyQt5.QtWidg
系統 2019-09-27 17:50:50 3547
讓我們花點時間來看一下網站上的一些URL。您是否發現一些類似于http://yoursite.com/info/dispEmployeeInfo.aspx?EmpID=459-099&type=summary的URL？或者，您可能將一系列網頁從一個目錄或網站移動到另一個目錄或網站，結果導致已將舊URL用作書簽的訪問者斷開鏈接。在本文中，我們將了解如何通過將http://yoursite.com/info/dispEmployeeInfo.aspx?EmpI
系統 2019-08-29 23:47:14 3546
