爬蟲的概念：爬蟲就是獲取網頁并提取和保存信息的自動化程序爬蟲的分類：主要有四類：通用網絡爬蟲，聚焦網絡爬蟲，增量式網絡爬蟲，深層網絡爬蟲爬蟲的流程：常見的幾種爬蟲問題：主要有五類：靜態網頁的爬取，Ajax數據的爬取，動態渲染頁面爬取，驗證碼的識別，代理的使用常見的爬蟲框架：pyspider框架，Scrapy框架分布式爬蟲：在多臺機器上運行爬蟲程序爬蟲的一些常用"庫"：解析庫：lxml;BeautifulSoup;pyquery;tesserocr請求庫：r
系統 2019-09-27 17:56:05 1978
本文實例講述了Python使用字典實現的簡單記事本功能。分享給大家供大家參考，具體如下：fromtimeimportsleep,strftimeuser="Cytus"calendar={}defwelcome():print"Welcometousethiscalendar.%s"%userprint"Calendarisopening."sleep(1)printstrftime("%A%B%d%Y")printstrftime("%H:%M:%S")
系統 2019-09-27 17:56:03 1978
類屬性和實例屬性首先來看看類屬性和類實例的屬性在python中如何存儲，通過__dir__方法來查看對象的屬性>>>classTest(object):pass>>>test=Test()#查看類屬性>>>dir(Test)['__class__','__delattr__','__dict__','__doc__','__format__','__getattribute__','__hash__','__init__','__module__','__
系統 2019-09-27 17:54:39 1978
1.作用將類方法轉換為類屬性，可以用.直接獲取屬性值或者對屬性進行賦值2.實現方式使用property類來實現，也可以使用property裝飾器實現，二者本質是一樣的。多數情況下用裝飾器實現。classStudent(object):@propertydefscore(self):returnself._score@score.setterdefscore(self,value):ifnotisinstance(value,int):raiseValueE
系統 2019-09-27 17:54:11 1978
今天咱寫一個挺實用的工具，就是掃描并獲取可用的proxy首先呢，我先百度找了一個網站：http://www.xicidaili.com作為例子這個網站里公布了許多的國內外可用的代理的ip和端口我們還是按照老樣子進行分析，就先把所有國內的proxy掃一遍吧點開國內部分進行審查發現，國內proxy和目錄為以下url：http://www.xicidaili.com/nn/x這個x差不多兩千多頁，那么看來又要線程處理了。。。老樣子，我們嘗試是否能直接以最簡單的r
系統 2019-09-27 17:54:09 1978
Pandas中對時間這個屬性的處理有非常非常多的操作。而本文對其中一個大家可能比較陌生的方法進行講解。其他的我會陸續上傳。應用情景是這樣的：考慮到有一個數據集，數據集中有用戶注冊賬號的時間（年-月-日），如下圖格式。如果我們希望對用戶賬號注冊時間轉為具體的天數，我們可以用如下代碼。importpandasaspdtd=data['user_reg_tm']Time=pd.to_datetime(td)Start=pd.datetime(2016,4,16)
系統 2019-09-27 17:53:59 1978
實測系統：ubuntu16.4debain9.01.Ubuntu16.04系統自帶Python2.7和Python3.5，而默認采用的是2.7版本，可采用如下命令查看單當前版本號:python-V2.Python2.7和3.5都是默認安裝在/usr/local/lib/python2.7(3.5)目錄下，link文件在/usr/bin文件夾下，需要刪除默認pythonlink文件pythonsudorm/usr/bin/python重新建立鏈接，并指向Py
系統 2019-09-27 17:53:40 1978
在Python中有兩種函數，一種是def定義的函數，另一種是lambda函數，也就是大家常說的匿名函數。今天我就和大家聊聊lambda函數，在Python編程中，大家習慣將其稱為表達式。1.為什么要用lambda函數?先舉一個例子：將一個列表里的每個元素都平方。先用def來定義函數，代碼如下defsq(x):returnx*xmap(sq,[yforyinrange(10)])再用lambda函數來編寫代碼map(lambdax:x*x,[yforyinr
系統 2019-09-27 17:53:33 1978
如下所示：>>>importnumpyasnp>>>a=np.array([[1,2,3],[3,1,2]])>>>b=np.array([[5,2,6],[5,1,2]])>>>aarray([[1,2,3],[3,1,2]])>>>barray([[5,2,6],[5,1,2]])>>>c=a+b>>>carray([[6,4,9],[8,2,4]])>>>c=(a+b)/2>>>carray([[3.,2.,4.5],[4.,1.,2.]])>>>以
系統 2019-09-27 17:52:56 1978
環境：編輯工具：瀏覽器：有問題可以聯系qq：17763765371、實現需要，編輯bug主題時，可以上傳圖片富文本點擊上傳圖片---》點擊瀏覽----》選擇圖片------》打開，完成圖片或文件上傳2代碼3、python腳本實現#coding:utf-8fromseleniumimportwebdriverfrompykeyboardimportPyKeyboardfrompymouseimportPyMousefrompages.login_pageim
系統 2019-09-27 17:52:48 1978
