文|yangrq1018經常在騰訊視頻上看電影,在影片庫里有一個"豆瓣好評"板塊。我一般會在這個條目下面挑電影。但是電影很多,又缺乏索引,只能不停地往下來,讓js加載更多的條目。然而前面的看完了,每次找新的片就要拉很久。所以用爬蟲將"豆瓣好評"里的電影都爬下來整理到一個表中,方便選片。項目地址:https://github.com/yangrq1018/vqq-douban-film依賴需要如下Python包:requestsbs4-Beautifulso
系統 2019-09-27 17:46:04 1971
前言由于筆者近期的研究課題與圖像后處理有關,需要通過圖像處理工具對圖像進行變換和處理,進而生成合適的訓練圖像數據。該系列文章即主要記錄筆者在不同的環境下進行圖像處理時常用的工具和庫。在Python環境下,對圖像的處理筆者主要使用Pillow庫,主要操作包括對圖像的讀取、存儲和變換等。實際應用中,Pillow中提供的Image模塊適合對圖像整體進行變換處理操作。注:以下介紹僅包括對應模塊和函數的基礎用法,故而在介紹時省略了部分參數和選項,更完備的用法和介紹可
系統 2019-09-27 17:45:53 1971
Python一切皆對象,但同時,Python還是一個多范式語言(multi-paradigm),你不僅可以使用面向對象的方式來編寫程序,還可以用面向過程的方式來編寫相同功能的程序(還有函數式、聲明式等,我們暫不深入)。Python的多范式依賴于Python對象中的特殊方法(specialmethod)。特殊方法名的前后各有兩個下劃線。特殊方法又被成為魔法方法(magicmethod),定義了許多Python語法和表達方式,正如我們在下面的例子中將要看到的。
系統 2019-09-27 17:45:48 1971
在平時的工程中,我們在構建工程時,常常需要用到配置文件,用來配置項目的一些信息,比如數據庫,請求網址,文件夾,線程、進程數等信息,這樣就可以方便我們通過修改配置文件中的參數來很好地完成整個項目的功能修改或開發。配置文件一般區別于Python代碼,會單獨存放在一個文件夾中,方便管理,常見的配置文件格式有.conf,.ini,.yaml等。本文使用Python中的configparser模塊來處理conf、ini配置文件。首先需要安裝configparser模
系統 2019-09-27 17:45:29 1971
Python的一個備份程序這是一個備份腳本。路徑請自行更換。這是一個備份腳本,按照當前日期分目錄,以時間作為文件名,并且可以在文件名加入備注信息.以zip方式作為壓縮方式,有特殊需求可以更改.實例代碼:#!/usr/bin/python#coding=utf-8#這是一個備份腳本,按照當前日期分目錄,以時間作為文件名,并且可以在文件名加入備注信息.#以zip方式作為壓縮方式,有特殊需求可以更改.importosimporttimesource=['/hom
系統 2019-09-27 17:38:29 1971
閉包并不是什么新奇的概念,它早在高級語言開始發展的年代就產生了。閉包(Closure)是詞法閉包(LexicalClosure)的簡稱。對閉包的具體定義有很多種說法,這些說法大體可以分為兩類:一種說法認為閉包是符合一定條件的函數,比如參考資源中這樣定義閉包:閉包是在其詞法上下文中引用了自由變量的函數。另一種說法認為閉包是由函數和與其相關的引用環境組合而成的實體。比如參考資源中就有這樣的的定義:在實現深約束時,需要創建一個能顯式表示引用環境的東西,并將它與相
系統 2019-09-27 17:38:28 1971
①GET#-*-coding:utf-8-*-importrequestsdefget(url,datas=None):response=requests.get(url,params=datas)json=response.json()returnjson注:參數datas為json格式②POST#-*-coding:utf-8-*-importrequestsdefpost(url,datas=None):response=requests.post(
系統 2019-09-27 17:38:03 1971
示例一#coding=UTF-8importsysimportMySQLdbimporttimereload(sys)sys.setdefaultencoding('utf-8')defconnectDemo():returnMySQLdb.Connection("127.0.0.1","root","root","demo",3306,charset="utf8")if__name__=='__main__':begin=time.time()conn=
系統 2019-09-27 17:37:59 1971
在Python中要連接數據庫,首先我們得先安裝幾個重要的東西,主要有:(1)Python-dev包(2)setuptools-0.6c11.tar.gz(3)MySQL-python-1.2.3.tar.gz下面分別來說說這三個主要的包的安裝步驟:(1)Python-dev包直接yuminstallpython-devel(2)setuptools-0.6c11.tar.gz在網上下載后,先解壓:tarzxfsetuptools-0.6c11.tar.gz
系統 2019-09-27 17:37:55 1971
Python標準庫中有很多實用的工具類,但是在具體使用時,標準庫文檔上對使用細節描述的并不清楚,比如urllib2這個HTTP客戶端庫。這里總結了一些urllib2的使用細節。Proxy的設置Timeout設置在HTTPRequest中加入特定的HeaderRedirectCookie使用HTTP的PUT和DELETE方法得到HTTP的返回碼DebugLogProxy的設置urllib2默認會使用環境變量http_proxy來設置HTTPProxy。如果想
系統 2019-09-27 17:37:51 1971