首先，糗事百科大家都聽說過吧？糗友們發的搞笑的段子一抓一大把，這次我們嘗試一下用爬蟲把他們抓取下來。
友情提示
糗事百科在前一段時間進行了改版，導致之前的代碼沒法用了，會導致無法輸出和CPU占用過高的情況，是因為正則表達式沒有匹配到的緣故。
現在，博主已經對程序進行了重新修改，代碼親測可用，包括截圖和說明，之前一直在忙所以沒有及時更新，望大家海涵！
糗事百科又又又又改版了，博主已經沒心再去一次次匹配它了，如果大家遇到長時間運行不出結果也不報錯的情況，請大家參考最新的評論，熱心小伙伴提供的正則來修改下吧～
本篇目標
1.抓取糗事百科熱門段子
2.過濾帶有圖片的段子
3.實現每按一次回車顯示一個段子的發布時間，發布人，段子內容，點贊數。
糗事百科是不需要登錄的，所以也沒必要用到Cookie，另外糗事百科有的段子是附圖的，我們把圖抓下來圖片不便于顯示，那么我們就嘗試過濾掉有圖的段子吧。
好，現在我們嘗試抓取一下糗事百科的熱門段子吧，每按下一次回車我們顯示一個段子。
1.確定URL并抓取頁面代碼
首先我們確定好頁面的URL是 http://www.qiushibaike.com/hot/page/1，其中最后一個數字1代表頁數，我們可以傳入不同的值來獲得某一頁的段子內容。
我們初步構建如下的代碼來打印頁面代碼內容試試看，先構造最基本的頁面抓取方式，看看會不會成功
# -*- coding:utf-8 -*-
import urllib
import urllib2
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
try:
request = urllib2.Request(url)
response = urllib2.urlopen(request)
print response.read()
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
運行程序，哦不，它竟然報錯了，真是時運不濟，命途多舛啊
line 373, in _read_status
raise BadStatusLine(line)
httplib.BadStatusLine: ''
好吧，應該是headers驗證的問題，我們加上一個headers驗證試試看吧，將代碼修改如下
# -*- coding:utf-8 -*-
import urllib
import urllib2
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
request = urllib2.Request(url,headers = headers)
response = urllib2.urlopen(request)
print response.read()
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
嘿嘿，這次運行終于正常了，打印出了第一頁的HTML代碼，大家可以運行下代碼試試看。在這里運行結果太長就不貼了。
2.提取某一頁的所有段子
好，獲取了HTML代碼之后，我們開始分析怎樣獲取某一頁的所有段子。
首先我們審查元素看一下，按瀏覽器的F12，截圖如下
我們可以看到，每一個段子都是
現在我們想獲取發布人，發布日期，段子內容，以及點贊的個數。不過另外注意的是，段子有些是帶圖片的，如果我們想在控制臺顯示圖片是不現實的，所以我們直接把帶有圖片的段子給它剔除掉，只保存僅含文本的段子。
所以我們加入如下正則表達式來匹配一下，用到的方法是 re.findall 是找尋所有匹配的內容。方法的用法詳情可以看前面說的正則表達式的介紹。
好，我們的正則表達式匹配語句書寫如下，在原來的基礎上追加如下代碼
content = response.read().decode('utf-8')
pattern = re.compile('
.*?
(.*?).*?
(.*?)
.*?
現在正則表達式在這里稍作說明
1）.*? 是一個固定的搭配，.和*代表可以匹配任意無限多個字符，加上？表示使用非貪婪模式進行匹配，也就是我們會盡可能短地做匹配，以后我們還會大量用到 .*? 的搭配。
2）(.*?)代表一個分組，在這個正則表達式中我們匹配了五個分組，在后面的遍歷item中，item[0]就代表第一個(.*?)所指代的內容，item[1]就代表第二個(.*?)所指代的內容，以此類推。
3）re.S 標志代表在匹配時為點任意匹配模式，點 . 也可以代表換行符。
這樣我們就獲取了發布人，發布時間，發布內容，附加圖片以及點贊數。
在這里注意一下，我們要獲取的內容如果是帶有圖片，直接輸出出來比較繁瑣，所以這里我們只獲取不帶圖片的段子就好了。
所以，在這里我們就需要對帶圖片的段子進行過濾。
我們可以發現，帶有圖片的段子會帶有類似下面的代碼，而不帶圖片的則沒有，所以，我們的正則表達式的item[3]就是獲取了下面的內容，如果不帶圖片，item[3]獲取的內容便是空。
所以我們只需要判斷item[3]中是否含有img標簽就可以了。
好，我們再把上述代碼中的for循環改為下面的樣子
for item in items:
haveImg = re.search("img",item[3])
if not haveImg:
print item[0],item[1],item[2],item[4]
現在，整體的代碼如下
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
request = urllib2.Request(url,headers = headers)
response = urllib2.urlopen(request)
content = response.read().decode('utf-8')
pattern = re.compile('
.*?
(.*?).*?
(.*?)
.*?
運行一下看下效果
恩，帶有圖片的段子已經被剔除啦。是不是很開森？
3.完善交互，設計面向對象模式
好啦，現在最核心的部分我們已經完成啦，剩下的就是修一下邊邊角角的東西，我們想達到的目的是：
按下回車，讀取一個段子，顯示出段子的發布人，發布日期，內容以及點贊個數。
另外我們需要設計面向對象模式，引入類和方法，將代碼做一下優化和封裝，最后，我們的代碼如下所示
__author__ = 'CQC'
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import thread
import time
#糗事百科爬蟲類
class QSBK:
#初始化方法，定義一些變量
def __init__(self):
self.pageIndex = 1
self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
#初始化headers
self.headers = { 'User-Agent' : self.user_agent }
#存放段子的變量，每一個元素是每一頁的段子們
self.stories = []
#存放程序是否繼續運行的變量
self.enable = False
#傳入某一頁的索引獲得頁面代碼
def getPage(self,pageIndex):
try:
url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
#構建請求的request
request = urllib2.Request(url,headers = self.headers)
#利用urlopen獲取頁面代碼
response = urllib2.urlopen(request)
#將頁面轉化為UTF-8編碼
pageCode = response.read().decode('utf-8')
return pageCode
except urllib2.URLError, e:
if hasattr(e,"reason"):
print u"連接糗事百科失敗,錯誤原因",e.reason
return None
#傳入某一頁代碼，返回本頁不帶圖片的段子列表
def getPageItems(self,pageIndex):
pageCode = self.getPage(pageIndex)
if not pageCode:
print "頁面加載失敗...."
return None
pattern = re.compile('
.*?
(.*?).*?
(.*?)
.*?
') text = re.sub(replaceBR,"\n",item[1]) #item[0]是一個段子的發布者，item[1]是內容，item[2]是發布時間,item[4]是點贊數 pageStories.append([item[0].strip(),text.strip(),item[2].strip(),item[4].strip()]) return pageStories #加載并提取頁面的內容，加入到列表中 def loadPage(self): #如果當前未看的頁數少于2頁，則加載新一頁 if self.enable == True: if len(self.stories) < 2: #獲取新一頁 pageStories = self.getPageItems(self.pageIndex) #將該頁的段子存放到全局list中 if pageStories: self.stories.append(pageStories) #獲取完之后頁碼索引加一，表示下次讀取下一頁 self.pageIndex += 1 #調用該方法，每次敲回車打印輸出一個段子 def getOneStory(self,pageStories,page): #遍歷一頁的段子 for story in pageStories: #等待用戶輸入 input = raw_input() #每當輸入回車一次，判斷一下是否要加載新頁面 self.loadPage() #如果輸入Q則程序結束 if input == "Q": self.enable = False return print u"第%d頁\t發布人:%s\t發布時間:%s\t贊:%s\n%s" %(page,story[0],story[2],story[3],story[1]) #開始方法 def start(self): print u"正在讀取糗事百科,按回車查看新段子，Q退出" #使變量為True，程序可以正常運行 self.enable = True #先加載一頁內容 self.loadPage() #局部變量，控制當前讀到了第幾頁 nowPage = 0 while self.enable: if len(self.stories)>0: #從全局list中獲取一頁的段子 pageStories = self.stories[0] #當前讀到的頁數加一 nowPage += 1 #將全局list中第一個元素刪除，因為已經取出 del self.stories[0] #輸出該頁的段子 self.getOneStory(pageStories,nowPage) spider = QSBK() spider.start()
好啦，大家來測試一下吧，點一下回車會輸出一個段子，包括發布人，發布時間，段子內容以及點贊數，是不是感覺爽爆了！
我們第一個爬蟲實戰項目介紹到這里，下次繼續，歡迎大家繼續關注，小伙伴們加油！
作者：程序員私房菜
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
