問題提出:有時候我們采集網頁,處理完畢后將字符串保存到文件或者寫入數據庫,這時候需要制定字符串的編碼,如果采集網頁的編碼是gb2312,而我們的數據庫是utf-8的,這樣不做任何處理直接插入數據庫可能會亂碼(沒測試過,不知道數據庫會不會自動轉碼),我們需要手動將gb2312轉換成utf-8。首先我們知道,python里的字符默認是ascii碼,英文當然沒問題啦,碰到中文的時候立馬給跪。不知道你還記不記得,python里打印中文漢字的時候需要在字符串前面加u
系統 2019-09-27 17:48:17 1975
背景最近在計劃明年從北京rebase到深圳去,所以最近在看深圳的各個方面。去年在深圳呆過一段時間,印象最深的是,深圳總是突然就下雨,還下好大的雨。對于我這種從小在南方長大但是后面又在北京呆了2年多的人來說,熟悉而又無奈。今天早上本來想隨便瀏覽瀏覽一個天氣網站,看看深圳的歷史天氣如何的,但是,一不小心發現,這家網站竟然直接能用API來抓數據,這~~~還不抓一波,省的自己一個月一個月地看。先上最后的效果圖:所有的code都在我的GitHub上:boydfd下面
系統 2019-09-27 17:47:57 1975
測試題:0.Python是什么類型的語言?Python是一種腳本語言,寫好了就可以直接運行Python是一種面向對象、解釋型、動態類型計算機程序設計語言解釋型:程序無需編譯成二進制代碼,而是在執行時對語句一條一條編譯動態類型:在程序執行過程中,可以改變變量的類型它常被昵稱為膠水語言,能夠把用其他語言制作的各種模塊(尤其是C/C++)很輕松地聯結在一起1.IDLE是什么?是python程序自帶的簡潔的集成開發環境2.print()的作用是什么?打印文本輸出字
系統 2019-09-27 17:47:51 1975
python處理時間的模塊有三個:datetime,time,calendar;datetime模塊主要是用來表示日期的,就是我們常說的年月日時分秒,calendar模塊主要是用來表示年月日,是星期幾之類的信息,time模塊主要側重點在時分秒,粗略從功能來看,我們可以認為三者是一個互補的關系,各自專注一塊。1,time模塊1.1時間的獲取、表示、轉換time模塊獲取時間的基本方法:tt=time.time()#1559201353.5570097得到的是時
系統 2019-09-27 17:47:42 1975
random()方法返回一個隨機浮點數r,使得0是小于或等于r以及r小于1。語法以下是random()方法的語法:random()注意:此函數是無法直接訪問的,所以我們需要導入random模塊,然后我們需要使用random對象來調用這個函數。參數NA返回值此方法返回一個隨機浮點數r,使得0是小于或等于r以及r小于1。例子下面的例子顯示了random()方法的使用。#!/usr/bin/pythonimportrandom#Firstrandomnumber
系統 2019-09-27 17:47:35 1975
本文講述了一個python查找webshell腳本的代碼,除了查找webshell功能之外還具有白名單功能,以及發現惡意代碼發送郵件報警等功能,感興趣的朋友可以自己測試一下看看效果。具體的功能代碼如下:#!/usr/bin/envpython#-*-coding:utf-8-*-importosimportsysimportreimportsmtplib#設定郵件fromaddr="smtp.qq.com"toaddrs=["voilet@qq.com"]
系統 2019-09-27 17:47:03 1975
Python的MySQLdb模塊是Python連接MySQL的一個模塊,默認查詢結果返回是tuple類型,只能通過0,1..等索引下標訪問數據默認連接數據庫:復制代碼代碼如下:MySQLdb.connect(host=host,user=user,passwd=passwd,db=db,port=port,charset='utf8')查詢數據:復制代碼代碼如下:cur=conn.cursor()cur.execute('selectb_idfromblo
系統 2019-09-27 17:46:17 1975
介紹python使用百度智能去的文字識別功能,可以識別截圖中的文,登陸路驗證碼等等。,登陸百度智能云,選擇產品服務。選擇“人工智能”---文字識別。點擊創建應用。如圖下面有關于“文字識別”的各類信息,如通用文字識別每天可以名費使用50000次,文字識別高精度版本免費使用500次每天。對于一般應用應該還足夠。在創建應用界面填入必要的信息,點擊“立即創建”按紐。返回后點擊“管理應用”按紐。管理應用界面主要是能看到調用接口時需要的APP_ID,API_KEY,S
系統 2019-09-27 17:46:02 1975
用Pycharm創建一個django項目。目錄如下:12"en">34"UTF-8">5upload678{#上傳文件的form表單必須要加上enctype="multipart/form-data"#}9"/upload/"method="post"enctype="multipart/form-data">10"file"name="upload_files">11"submit"value="提交">121314uploadFiles.html1fr
系統 2019-09-27 17:45:58 1975
首先要分析一下電影天堂網站的首頁結構。在這里插入圖片描述從上面的菜單欄中我們可以看到整個網站資源的總體分類情況。剛剛好我們可以利用到它的這個分類,將每一個分類地址作為爬蟲的起點。①解析首頁地址提取分類信息#解析首頁defCrawIndexPage(starturl):print"正在爬取首頁"page=__getpage(starturl)ifpage=="error":returnpage=page.decode('gbk','ignore')tree=
系統 2019-09-27 17:56:58 1974
本文實例講述了python根據文件大小打log日志的方法,分享給大家供大家參考。具體方法如下:importglobimportloggingimportlogging.handlersLOG_FILENAME='logging_rotatingfile_example.out'#Setupaspecificloggerwithourdesiredoutputlevelmy_logger=logging.getLogger('MyLogger')my_log
系統 2019-09-27 17:55:38 1974
關于類,看官想必已經有了感覺,看下面的代碼,請仔細閱讀,并看看是否能夠發現點什么問題呢?復制代碼代碼如下:#!/usr/bin/envpython#coding:utf-8classPerson:def__init__(self,name,lang,email):self.name=nameself.lang=langself.email=emaildefauthor(self):returnself.nameclassProgrammer:def__in
系統 2019-09-27 17:55:25 1974
這篇文章主要介紹了Python3requests文件下載期間顯示文件信息和下載進度代碼實例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下"""使用模塊線程方式實現網絡資源的下載#實現文件下載,期間顯示文件信息&下載進度#控制臺運行以顯示進度"""importrequestsimportos.pathasopimportosfromsysimportstdoutdefdownloadfile(url,fil
系統 2019-09-27 17:55:01 1974
本文實例講述了Python求兩個list的差集、交集與并集的方法。分享給大家供大家參考。具體如下:list就是指兩個數組之間的差集,交集,并集了,這個小學數學時就學過的東西,下面就以實例形式對此加以分析。一.兩個list差集如有下面兩個數組:a=[1,2,3]b=[2,3]想要的結果是[1]下面記錄一下三種實現方式:1.正常的方式復制代碼代碼如下:ret=[]foriina:ifinotinb:ret.append(i)2.濃縮版復制代碼代碼如下:ret=
系統 2019-09-27 17:54:52 1974
今天閑來無聊無意間看到了百度股票,就想著用python爬一下數據,于是就找到了東方財經網,結合這兩個網站,寫了一個小爬蟲,數據保存在文件中,比較簡單的示例,就當做用來練習正則表達式和BeautifulSoupl了。首先頁面分析,打開東方財經網股票列表頁,和百度股票詳情頁,右鍵查看網頁源代碼,網址后面的代碼就是股票代碼,所以打算先獲取股票代碼,然后獲取詳情,廢話少說,直接上代碼吧:importreimportrequestsfrombs4importBeau
系統 2019-09-27 17:54:39 1974