前面十章爬蟲筆記陸陸續(xù)續(xù)記錄了一些簡單的Python爬蟲知識，用來解決簡單的貼吧下載，績點(diǎn)運(yùn)算自然不在話下。不過要想批量下載大量的內(nèi)容，比如知乎的所有的問答，那便顯得游刃不有余了點(diǎn)。于是乎，爬蟲框架Scrapy就這樣出場了！Scrapy=Scrach+Python，Scrach這個(gè)單詞是抓取的意思，Scrapy的官網(wǎng)地址：點(diǎn)我點(diǎn)我。那么下面來簡單的演示一下Scrapy的安裝流程。具體流程參照：//www.jb51.net/article/48607.htm
系統(tǒng) 2019-09-27 17:54:46 1610
前言前面幾篇文章基本上已經(jīng)了解了pytest命令使用，收集用例，finxture使用及作用范圍，今天簡單介紹一下conftest.py文件的作用和實(shí)際項(xiàng)目中如是使用此文件！實(shí)例場景首先們思考這樣一個(gè)問題：如果我們在編寫測試用的時(shí)候，每一個(gè)測試文件里面的用例都需要先登錄后才能完成后面的操作，那么們該如何實(shí)現(xiàn)呢？這就需要我們掌握conftest.py文件的使用了。實(shí)例代碼創(chuàng)建如下一個(gè)目錄ConftestFile|conftest.py|test_file_01
系統(tǒng) 2019-09-27 17:54:45 1610
本文實(shí)例講述了PythonDjango框架實(shí)現(xiàn)應(yīng)用添加logging日志。分享給大家供大家參考，具體如下：DjangousesPython'sbuiltinloggingmoduletoperformsystemlogging.Django使用python的內(nèi)建日志模塊來記錄系統(tǒng)日志，但是要想在django應(yīng)用中開啟此功能使我們的部分操作能夠被記錄到日志文件，那么就需要進(jìn)行一定的配置并且根據(jù)具體的log類型來進(jìn)行調(diào)用step1：配置setting.py以下
系統(tǒng) 2019-09-27 17:54:44 1610
2019-09-16-23:09:06自學(xué)Python的第六天,也是寫博客的第六天今天學(xué)的內(nèi)容是有關(guān)dict字典的用法看視頻加上練習(xí),目前還沒遇到有難點(diǎn),但是感覺很不好的樣子沒有難點(diǎn)以后突然出現(xiàn)一個(gè)有關(guān)字典的程序感覺要炸,還是得繼續(xù)掌握看最后的代碼吧,有更好的請告訴我======我======是=====一======條======快======樂======的======分======割======線======一.重要知識點(diǎn)1.dict用大括號{}括起
系統(tǒng) 2019-09-27 17:54:44 1610
本文實(shí)例講述了Python實(shí)現(xiàn)生成密碼字典的方法。分享給大家供大家參考，具體如下：key_data.py文件存放組成數(shù)據(jù)，可以隨時(shí)擴(kuò)充及簡化。#coding=utf-8#!/usr/bin/pythondefyear():#返回字符串類型的年份列表year=range(1984,2018)#常用年份列表year_str=[]foryinyear:year_str.append(str(y))returnyear_strdefmonth_or_day(n):
系統(tǒng) 2019-09-27 17:54:41 1610
閉包是Python裝飾器的基礎(chǔ)。要理解閉包，先要了解Python中的變量作用域規(guī)則。變量作用域規(guī)則首先，在函數(shù)中是能訪問全局變量的：>>>a='globalvar'>>>deffoo():print(a)>>>foo()globalvar然后，在一個(gè)嵌套函數(shù)中，內(nèi)層函數(shù)能夠訪問在外層函數(shù)中定義的局部變量：>>>deffoo():a='freevar'defbar():print(a)returnbar>>>foo()()freevar閉包上面的嵌套函數(shù)就是
系統(tǒng) 2019-09-27 17:54:39 1610
正文首先得說明的是,Python的類分為經(jīng)典類和新式類經(jīng)典類是python2.2之前的東西,但是在2.7還在兼容,但是在3之后的版本就只承認(rèn)新式類了新式類在python2.2之后的版本中都可以使用經(jīng)典類和新式類的區(qū)別在于:經(jīng)典類是默認(rèn)沒有派生自某個(gè)基類的,而新式類是默認(rèn)派生自object這個(gè)基類的:復(fù)制代碼代碼如下:#oldstyleclassA():pass#newstyleclassA(obejct):pass2.經(jīng)典類在類多重繼承的時(shí)候是采用從左到右
系統(tǒng) 2019-09-27 17:54:38 1610
文件內(nèi)容如下：Alex100000Rain80000Egon50000Yuan30000#此處有一個(gè)空行！現(xiàn)在看如何處理并轉(zhuǎn)成列表！salary_info=open("salaryinfo.txt","r+",encoding="UTF-8")salary_info_list=[]forlineinsalary_info.readlines():ifline=='\n':passelse:salary_info_list.append(list(line.
系統(tǒng) 2019-09-27 17:54:35 1610
python中random的常用方法總結(jié)一、random常用模塊1.random.random()隨機(jī)生成一個(gè)小數(shù)print(random.random())#輸出0.60605621179967842.random.randint(m,n)隨機(jī)生成一個(gè)m到n的整數(shù)（包括n）print(random.randint(1,5))#輸出53.random.randrange(m,n)隨機(jī)生成m到n中的一個(gè)數(shù)，包括m但是不包括nprint(random.rand
系統(tǒng) 2019-09-27 17:54:35 1610
前言做網(wǎng)絡(luò)爬蟲的同學(xué)肯定見過各種各樣的驗(yàn)證碼，比較高級的有滑動、點(diǎn)選等樣式，看起來好像挺復(fù)雜的，但實(shí)際上它們的核心原理還是還是很清晰的，本文章大致說明下這些驗(yàn)證碼的原理以及帶大家實(shí)現(xiàn)一個(gè)滑動驗(yàn)證碼。實(shí)際上這類驗(yàn)證碼的校驗(yàn)是分為兩個(gè)步驟的：1.第一步就是前端的校驗(yàn)。一般來說，登錄注冊頁面在點(diǎn)擊提交的時(shí)候都會伴隨著一個(gè)表單提交，在表單提交的時(shí)候會有JavaScript事件的觸發(fā)。如果加入了驗(yàn)證碼，那么在表單提交的時(shí)候會多加一個(gè)額外的驗(yàn)證，判斷這個(gè)驗(yàn)證碼是否已經(jīng)
系統(tǒng) 2019-09-27 17:54:32 1610
pycharm軟件很好，但是不能在無圖形的終端下使用，另外它們是“重量級選手”。如果偶爾需要vim編輯python程序，讓vim支持python的語法提示不是更好！實(shí)際上，vim支持python提示，就是把python以及各種各樣模塊的常用指令都寫到一個(gè)字典里。操作步驟如下：1、創(chuàng)建vim插件工作目錄[root@zsl~]#mkdir-p~/.vim/bundle/2、下載插件[root@zsl~]#cd~/.vim/bundle/[root@zsl~]#
系統(tǒng) 2019-09-27 17:54:31 1610
本文實(shí)例講述了Python訪問MySQL封裝的常用類。分享給大家供大家參考。具體如下：python訪問mysql比較簡單,下面整理的就是一個(gè)很簡單的Python訪問MySQL數(shù)據(jù)庫類。自己平時(shí)也就用到兩個(gè)mysql函數(shù)：查詢和更新，下面是自己常用的函數(shù)的封裝，大家拷貝過去直接可以使用。文件名：DBUtil.py復(fù)制代碼代碼如下:#-*-encoding:utf8-*-'''@author:crazyant.net@version:2013-10-22封裝的
系統(tǒng) 2019-09-27 17:54:30 1610
配置好virtualenv和virtualenvwrapper后，使用pycharm創(chuàng)建新項(xiàng)目。之后要面臨的問題就來了，之前一直使用的是sqlite作為開發(fā)數(shù)據(jù)庫進(jìn)行學(xué)習(xí)，按照之前看教程的原則，好像就是說開發(fā)環(huán)境要和生產(chǎn)環(huán)境盡量的一致，所以現(xiàn)在想嘗試一下使用更有可能在生產(chǎn)環(huán)境部署的mysql數(shù)據(jù)庫進(jìn)行開發(fā)。本覺得是一件應(yīng)該很輕松的事情，沒想到遇到了一些麻煩根據(jù)一通百度，搜出來的方案大概有：MySQLdbmysql安裝時(shí)候自帶的connectorpymysq
系統(tǒng) 2019-09-27 17:54:28 1610
綜述本系列文檔用于對Python爬蟲技術(shù)的學(xué)習(xí)進(jìn)行記錄總結(jié)。Python版本是3.7.4urllib庫介紹它是Python內(nèi)置的HTTP請求庫，也就是說我們不需要額外安裝即可使用，它包含四個(gè)模塊(主要對前三個(gè)模塊進(jìn)行學(xué)習(xí))：request:它是最基本的HTTP請求模塊，我們可以用它來模擬發(fā)送一請求，就像在瀏覽器里輸入網(wǎng)址然后敲擊回車一樣，只需要給庫方法傳入U(xiǎn)RL還有額外的參數(shù)，就可以模擬實(shí)現(xiàn)這個(gè)過程了。error:異常處理模塊，如果出現(xiàn)請求錯(cuò)誤，我們可以捕
系統(tǒng) 2019-09-27 17:54:27 1610
本文實(shí)例講述了決策樹的python實(shí)現(xiàn)方法。分享給大家供大家參考。具體實(shí)現(xiàn)方法如下：決策樹算法優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：計(jì)算復(fù)雜度不高，輸出結(jié)果易于理解，對中間值缺失不敏感，可以處理不相關(guān)的特征數(shù)據(jù)缺點(diǎn)：可能會產(chǎn)生過度匹配的問題適用數(shù)據(jù)類型：數(shù)值型和標(biāo)稱型算法思想：1.決策樹構(gòu)造的整體思想：決策樹說白了就好像是if-else結(jié)構(gòu)一樣，它的結(jié)果就是你要生成這個(gè)一個(gè)可以從根開始不斷判斷選擇到葉子節(jié)點(diǎn)的樹，但是呢這里的if-else必然不會是讓我們認(rèn)為去設(shè)置的，我們要做的是
系統(tǒng) 2019-09-27 17:54:26 1610
