前面說到了urllib2的簡單入門，下面整理了一部分urllib2的使用細節。1.Proxy的設置urllib2默認會使用環境變量http_proxy來設置HTTPProxy。如果想在程序中明確控制Proxy而不受環境變量的影響，可以使用代理。新建test14來實現一個簡單的代理Demo：復制代碼代碼如下:importurllib2enable_proxy=Trueproxy_handler=urllib2.ProxyHandler({"http":'ht
系統 2019-09-27 17:54:48 1990
1、捕獲攝像頭和實時顯示importcv2importnumpyasnpimportpickleimportmatplotlib.pyplotaspltcap=cv2.VideoCapture(0)whileTrue:ret,frame=cap.read()#Ouroperationsontheframecomeheregray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)#Displaytheresultingframec
系統 2019-09-27 17:54:46 1990
什么是可變/不可變對象不可變對象，該對象所指向的內存中的值不能被改變。當改變某個變量時候，由于其所指的值不能被改變，相當于把原來的值復制一份后再改變，這會開辟一個新的地址，變量再指向這個新的地址。可變對象，該對象所指向的內存中的值可以被改變。變量（準確的說是引用）改變后，實際上是其所指的值直接發生改變，并沒有發生復制行為，也沒有開辟新的出地址，通俗點說就是原地改變。Python中，數值類型（int和float）、字符串str、元組tuple都是不可變類型。
系統 2019-09-27 17:54:37 1990
綜述本系列文檔用于對Python爬蟲技術的學習進行記錄總結。Python版本是3.7.4urllib庫介紹它是Python內置的HTTP請求庫，也就是說我們不需要額外安裝即可使用，它包含四個模塊(主要對前三個模塊進行學習)：request:它是最基本的HTTP請求模塊，我們可以用它來模擬發送一請求，就像在瀏覽器里輸入網址然后敲擊回車一樣，只需要給庫方法傳入URL還有額外的參數，就可以模擬實現這個過程了。error:異常處理模塊，如果出現請求錯誤，我們可以捕
系統 2019-09-27 17:54:27 1990
引入：Python中有個logging模塊可以完成相關信息的記錄，在debug時用它往往事半功倍一、日志級別(從低到高)：DEBUG:詳細的信息,通常只出現在診斷問題上INFO:確認一切按預期運行WARNING:一個跡象表明,一些意想不到的事情發生了,或表明一些問題在不久的將來(例如。磁盤空間低”)。這個軟件還能按預期工作。ERROR:更嚴重的問題,軟件沒能執行一些功能CRITICAL:一個嚴重的錯誤,這表明程序本身可能無法繼續運行注：這5個等級，也分別對
系統 2019-09-27 17:54:25 1990
在開始Python編程前，需要先安裝Python環境。Python安裝包可以到Python的官網下載，官網地址是https://www.python.org/，如果想直接跳過關于Python的介紹相關直接下載安裝包，則可以直接訪問https://www.python.org/downloads/下載安裝包即可。Windows下安裝Python要在Windows下安裝Python，請按照下面的步驟進行：1、打開Web瀏覽器，訪問https://www.pyt
系統 2019-09-27 17:54:19 1990
運營：“活動參與人數那么少，肯定是推廣渠道不行”市場：“PV和UV都很高，最后轉化這么低，運營是不是有環節沒做好？”產品：“我覺得這個功能這樣改絕對能提升用戶留存！所以這個需求必須要實現”程序員：“怎么證明這是有效需求，我不要你覺得...”如果各位在職場中有和同事argue的經歷，憑猜想定位問題，彼此誰都說服不了誰，這個時候就要丟出殺手锏——數據。不僅要拿數據，還要用數據，用數據分析每個環節，定位具體問題，用異常數據證明問題所在，用合理數據推測活動效果。擁
系統 2019-09-27 17:53:44 1990
Scrapy是一個開源的Python數據抓取框架，速度快，強大，而且使用簡單。來看一個官網主頁上的簡單并完整的爬蟲：雖然只有10行左右的代碼，但是它的確是一個完整的爬蟲服務：當執行scrapyrunspiderxxx.py命令的時候，Scrapy在項目里查找Spider(蜘蛛?)并通過爬蟲引擎來執行它。首先從定義在start_urls里的URL開始發起請求，然后通過parse()方法處理響應。response參數就是返回的響應對象。在parse()方法中，
系統 2019-09-27 17:53:38 1990
一.如何調用deff1(arg1,arg2):print('f1',arg1,arg2)deff2(arg1):print('f2',arg1)deff3():print('f3')deff4():print('周期任務',int(time.time()))timer=TaskTimer()#把任務加入任務隊列timer.join_task(f1,[1,2],timing=15.5)#每天15:30執行timer.join_task(f2,[3],timi
系統 2019-09-27 17:53:12 1990
psutil（進程和系統實用程序）是一個跨平臺的庫，用于在Python中檢索有關運行進程和系統利用率（CPU，內存，磁盤，網絡，傳感器）的信息。它主要用于系統監視，分析和限制流程資源以及運行流程的管理。它實現了UNIX命令行工具提供的許多功能，例如：ps，top，lsof，netstat，ifconfig，who，df，kill，free，nice，ionice，iostat，iotop，uptime，pidof，tty，taskset，pmap。psut
系統 2019-09-27 17:52:36 1990
目前，Python科學棧中的所有主要項目都同時支持Python3.x和Python2.7，不過，這種情況很快即將結束。去年11月，Numpy團隊的一份聲明引發了數據科學社區的關注：這一科學計算庫即將放棄對于Python2.7的支持，全面轉向Python3。Numpy并不是唯一宣稱即將放棄Python舊版本支持的工具，pandas與Jupyternotebook等很多產品也在即將放棄支持的名單之中。對于數據科學開發者而言，如何將已有項目從Python2轉向P
系統 2019-09-27 17:52:25 1990
安裝前準備(準備編譯環境)yuminstallzlib-develbzip2-developenssl-develncurses-develgcc-c++gcc-y獲取Python3.6源碼#獲取源碼wgethttps://www.python.org/ftp/python/3.6.3/Python-3.6.3.tar.xz#安裝xzyuminstallxz-y#解壓tar-xvfPython-3.6.3.tar.xz-C/usr/local/src/安裝
系統 2019-09-27 17:51:11 1990
lxml是python的一個解析庫，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高XPath，全稱XMLPathLanguage，即XML路徑語言，它是一門在XML文檔中查找信息的語言，它最初是用來搜尋XML文檔的，但是它同樣適用于HTML文檔的搜索XPath的選擇功能十分強大，它提供了非常簡明的路徑選擇表達式，另外，它還提供了超過100個內建函數，用于字符串、數值、時間的匹配以及節點、序列的處理等，幾乎所有我們想要定位的節點，都可
系統 2019-09-27 17:50:58 1990
requests庫的用法：requests是python實現的簡單易用的HTTP庫因為是第三方庫，所以使用前需要cmd安裝pip×××tallrequests安裝完成后import一下，正常則說明可以開始使用了基本用法：importrequestsformbs4importBeautifulSoupresponse=requests.get('http://www.baidu.com')print(response.status_code)#打印狀態碼pr
系統 2019-09-27 17:50:42 1990
推薦：高階函數python高階函數有誤但可以參考python中常見的內置高階函數添加鏈接描述什么是高階函數？高階函數：一個函數可以作為參數傳給另外一個函數，或者一個函數的返回值為另外一個函數（若返回值為該函數本身，則為遞歸），滿足其一則為高階函數(Higher-orderfunction)。高階函體現了函數式編程思想：--函數作為參數：將核心邏輯傳入方法體，使該方法適用性更為廣泛．傳入數據:整數／小數／容器／自定義類的對象傳入邏輯：方法--內置高階函數:f
系統 2019-09-27 17:50:16 1990
