綜述本系列文檔用于對Python爬蟲技術的學習進行記錄總結。Python版本是3.7.4urllib庫介紹它是Python內置的HTTP請求庫,也就是說我們不需要額外安裝即可使用,它包含四個模塊(主要對前三個模塊進行學習):request:它是最基本的HTTP請求模塊,我們可以用它來模擬發送一請求,就像在瀏覽器里輸入網址然后敲擊回車一樣,只需要給庫方法傳入URL還有額外的參數,就可以模擬實現這個過程了。error:異常處理模塊,如果出現請求錯誤,我們可以捕
系統 2019-09-27 17:54:27 1627
引入:Python中有個logging模塊可以完成相關信息的記錄,在debug時用它往往事半功倍一、日志級別(從低到高):DEBUG:詳細的信息,通常只出現在診斷問題上INFO:確認一切按預期運行WARNING:一個跡象表明,一些意想不到的事情發生了,或表明一些問題在不久的將來(例如。磁盤空間低”)。這個軟件還能按預期工作。ERROR:更嚴重的問題,軟件沒能執行一些功能CRITICAL:一個嚴重的錯誤,這表明程序本身可能無法繼續運行注:這5個等級,也分別對
系統 2019-09-27 17:54:25 1627
給類或實例綁定其他方法(函數),需要注意問題:(1)定義方法(函數)時,要加self,如:defset_age(self,age):self.age=age(2)實例綁定方法與類綁定方法是不一樣的,實例綁定方法時是要借助函數的,類綁定方法時可以直接賦值的,如:classStudet(object):def__init__(self,name):self.name=name實例綁定方法:s1=Studet('Boo')fromtypesimportMetho
系統 2019-09-27 17:54:09 1627
有時候我們的爬蟲程序添加了代理,但是我們不知道程序是否獲取到了ip,尤其是動態轉發模式的,這時候就需要進行檢測了,以下是一種代理是否偽裝成功的檢測方式,這里推介使用億牛云提供的代碼示例。Python?requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要訪問的目標頁面targetUrl="http://httpbin.org/ip"#要訪問的目標HTTPS頁面#targetUrl="https:
系統 2019-09-27 17:54:07 1627
python的mysqldb安裝步驟詳解安裝MySQLdb:一、什么是MySQLdb?解釋:MySQLdb是Python操作MySQL的一個接口包。這里要理解一個概念,python操作數據庫,都是需要一個類似MySQLdb這樣的中間層,這些中間層抽象了具體的實現,提供了統一的API供開發者使用。二、如何安裝MySQLdb?python2環境下:sudopipinstallMySQL-python。MySQL-python目前暫時還不支持python3,有些
系統 2019-09-27 17:54:02 1627
使用Tkinter(py2.7)text文本框中輸入內容在界面中顯示?C較為規整的代碼:importTkinterastkclassWindow:def__init__(self,handle):self.win=handleself.createwindow()self.run()defcreatewindow(self):self.win.geometry('400x400')#label1self.label_text=tk.StringVar()s
系統 2019-09-27 17:54:01 1627
問題在做web端ui層自動化的時候會碰到文件上傳的操作,經常有朋友問到,這里總結一下解決方案第一種:type=file的上傳文件,類似如下的使用類似這樣的代碼就可以完成:driver.find_element('name','file').send_keys('./小強測試品牌.png')第二種:就是第一種除外的,實現起來較為麻煩,這里用到了autoit,大致步驟如下:1、下載并安裝autoit,之后在開始菜單可以看到如下AutoItWindowsInfo
系統 2019-09-27 17:53:55 1627
目錄基礎知識學習(MOOC嵩天+零散知識)無基礎不能高樓,合抱之木,生于毫末,九層之臺,起于累土1.1PythonMOOC練習31.2PythonMOOC練習41.3python中的隨機函數random的用法示例1.4Python文本詞頻統計的編碼問題-MOOC嵩天1.5Python中的復數和誤區1.6Python計算圓周率的兩種方法1.7Python實現七段數碼管顯示效果1.8Python實現科赫圖形設計1.9Python基本統計值計算1.10Pytho
系統 2019-09-27 17:53:52 1627
Python學習筆記--坐標軸范圍參靠視頻:《Python數據可視化分析matplotlib教程》鏈接:https://www.bilibili.com/video/av6989413/?p=6所用的庫及環境:IDE:PycharmPython環境:python3.7Matplotlib:Matplotlib1.11Numpy:Numpy1.15.坐標軸范圍概念根據需求調整坐標軸的范圍坐標軸范圍調整第一種形式通過plt.axis()可以查看圖形的x軸的最小
系統 2019-09-27 17:53:50 1627
文章目錄Python2在圖片上加漢字代碼實現Python3在圖片上加漢字代碼實現遇到的問題python2和python3實現在圖片上加漢字,最主要的區別還是內部編碼方式不一樣導致的,在代碼上表現為些許的差別。理解了內部編碼原理也就不會遇到這些問題了,以下代碼是在WIN10系統上時測好用的。Python2在圖片上加漢字代碼實現#-*-coding:cp936-*-importcv2importnumpyasnpfromPILimportImage,Image
系統 2019-09-27 17:53:47 1627