準(zhǔn)備在斷網(wǎng)的和聯(lián)網(wǎng)的機(jī)器安裝pip,下載地址https://pypi.python.org/pypi/pip在聯(lián)網(wǎng)的開(kāi)發(fā)機(jī)器上安裝好需要的包例如:pip3installparamikopip3installfabric打包已安裝的包新建pyenv文件夾用來(lái)存儲(chǔ)下載下來(lái)的所需安裝包pip3list#查看安裝的包#使用pip導(dǎo)出當(dāng)前環(huán)境所有依賴包信息文件pip3freeze>requirements.txt#下載所有依賴包到本地pip3install-rreq
系統(tǒng) 2019-09-27 17:54:56 1951
之前想爬取一些淘寶的數(shù)據(jù),后來(lái)發(fā)現(xiàn)需要登錄,找了很多的資料,有個(gè)使用request的sessions加上cookie來(lái)登錄的,cookie的獲取在登錄后使用開(kāi)發(fā)者工具可以找到。不過(guò)這個(gè)登錄后獲得的網(wǎng)頁(yè)的代碼是靜態(tài)的,獲取動(dòng)態(tài)網(wǎng)頁(yè)還得另尋他法,一般需要的數(shù)據(jù)可以在網(wǎng)頁(yè)的源碼中得到,但是你知道的,有些動(dòng)態(tài)加載的就不是那么簡(jiǎn)單了,而且我發(fā)現(xiàn)這樣獲得的源碼中,有些想要獲取的數(shù)據(jù)的格式是經(jīng)過(guò)改動(dòng)的,比如我要某個(gè)商品的具體鏈接,發(fā)現(xiàn)并不能直接使用。總體而言,這是一次失
系統(tǒng) 2019-09-27 17:54:47 1951
range([start],[end],[long])描述:根據(jù)range里的參數(shù)生成指定范圍指定步長(zhǎng)的一個(gè)序列參數(shù):[start]——指定范圍的左邊界,可取到[end]——指定范圍的右邊界,不可取到[long]——步長(zhǎng),若無(wú)步長(zhǎng),默認(rèn)為1返回值:列表實(shí)例:>>>range(0,6,2)[0,2,4]>>>range(5)[0,1,2,3,4]xrange()描述:用法與range完全相同,生成的不是數(shù)組,而是一個(gè)生成器實(shí)例:>>>xrange(0,6,2
系統(tǒng) 2019-09-27 17:54:01 1951
在日常PC端的Python爬蟲(chóng)過(guò)程工作中,Chrome瀏覽器是我們常用的一款工具。鑒于Chrome瀏覽器的強(qiáng)大,Chrome網(wǎng)上應(yīng)用商店很多強(qiáng)大的插件可以幫助我們快速高效地進(jìn)行數(shù)據(jù)爬蟲(chóng)。今天推薦的6款Chrome插件,可以大大提升我們的爬蟲(chóng)效率。EditThisCookieEditThisCookie是一個(gè)Cookie管理器,可以很方便的添加,刪除,編輯,搜索,鎖定和屏蔽Cookies。可以將登錄后的Cookies先保存到本地,借助cookielib庫(kù),直
系統(tǒng) 2019-09-27 17:53:24 1951
閱讀目錄一多態(tài)多態(tài)指的是一類事物有多種形態(tài)動(dòng)物有多種形態(tài):人,狗,豬importabcclassAnimal(metaclass=abc.ABCMeta):#同一類事物:動(dòng)物@abc.abstractmethoddeftalk(self):passclassPeople(Animal):#動(dòng)物的形態(tài)之一:人deftalk(self):print('sayhello')classDog(Animal):#動(dòng)物的形態(tài)之二:狗deftalk(self):prin
系統(tǒng) 2019-09-27 17:53:09 1951
進(jìn)程是操作系統(tǒng)分配內(nèi)存的最小單位Python中進(jìn)程用到的庫(kù)multiprocessing簡(jiǎn)單的多進(jìn)程示例frommultiprocessingimportProcessfromtimeimporttime,sleepfromrandomimportrandintdefdownload_task(task_name):print(task_name+'開(kāi)始下載')time=randint(1,5)sleep(time)print(task_name+f'下載
系統(tǒng) 2019-09-27 17:53:03 1951
0x00前言eval是Python用于執(zhí)行python表達(dá)式的一個(gè)內(nèi)置函數(shù),使用eval,可以很方便的將字符串動(dòng)態(tài)執(zhí)行。比如下列代碼:>>>eval("1+2")>>>eval("[xforxinrange(10)]")[0,1,2,3,4,5,6,7,8,9]當(dāng)內(nèi)存中的內(nèi)置模塊含有os的話,eval同樣可以做到命令執(zhí)行:>>>importos>>>eval("os.system('whoami')")win-20140812chj\administrat
系統(tǒng) 2019-09-27 17:53:02 1951
在上一篇文章中,我們講了如何在linux上用python寫(xiě)一個(gè)守護(hù)進(jìn)程。主要原理是利用linux的fork函數(shù)來(lái)創(chuàng)建一個(gè)進(jìn)程,然后退出父進(jìn)程運(yùn)行,生成的子進(jìn)程就會(huì)成為一個(gè)守護(hù)進(jìn)程。細(xì)心觀察的可能會(huì)發(fā)現(xiàn),這個(gè)守護(hù)進(jìn)程的運(yùn)行身份是執(zhí)行這個(gè)程序的用戶,如果把這個(gè)守護(hù)程序加入到系統(tǒng)的服務(wù)項(xiàng),那么這個(gè)守護(hù)程序的執(zhí)行身份應(yīng)該是root。一個(gè)情況出現(xiàn)了,root的權(quán)限比較大,如果通過(guò)這個(gè)root身份的守護(hù)程序來(lái)進(jìn)行操作,危險(xiǎn)性是比較大的。一種好的辦法是生成一個(gè)身份為ro
系統(tǒng) 2019-09-27 17:52:32 1951
glob模塊說(shuō)明:1、glob是python自己帶的一個(gè)文件操作相關(guān)模塊,用它可以查找符合自己目的的文件,就類似于Windows下的文件搜索,支持通配符操作*、?、[]這三個(gè)通配符,*代表0個(gè)或多個(gè)字符,?代表一個(gè)字符,[]匹配指定范圍內(nèi)的字符,如[0-9]匹配數(shù)字。glob.glob("字符串+通配符")該方法返回指定路徑所有匹配的文件的列表,該方法需要一個(gè)參數(shù)用來(lái)指定匹配的路徑字符串(本字符串可以為絕對(duì)路徑也可以為相對(duì)路徑),其返回的文件名只包括當(dāng)前目
系統(tǒng) 2019-09-27 17:52:15 1951
前言今天就簡(jiǎn)單的對(duì)日志做個(gè)封裝,實(shí)際工作中直接拿去用吧方法1"""------------------------------------@Time:2019/5/228:12@Auth:linux超@File:logfile.py@IDE:PyCharm@Motto:Realwarriors,daretofacethebleakwarning,daretofacetheincisiveerror!-----------------------------
系統(tǒng) 2019-09-27 17:51:39 1951