這篇博客做一個爬蟲的實(shí)例
今天剛看到一個新聞，在7月26日上映的《哪吒之魔童降世》，密鑰第二次延期至10月26日。
截止至9月17日，《哪吒之魔童降世》票房已超49億票房，在豆瓣上對該電影的評價有好有壞。說實(shí)話，博主看了這個電影真的覺得蠻不錯的，因此把短評中的差評爬取下來，看下差評包括哪些方面。
目錄
- 一、BeautifulSoup
- 二、xpath
- 三、正則表達(dá)式
一、BeautifulSoup
首先需要了解下差評文字內(nèi)容在哪些標(biāo)簽下：
進(jìn)入豆瓣該電影短評界面，檢查元素：
可以看出，每一條評論都在一個
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
于是就有了爬取的思路：
class=short的span標(biāo)簽（一）導(dǎo)入需要用到的模塊與包
import requests from bs4 import BeautifulSoup import time（二）獲取差評內(nèi)容
先爬取一頁看下效果
base_url = 'https://movie.douban.com/subject/26794435/comments?start=0&limit=20&sort=new_score&status=P&percent_type=l' def get_one_pageComments(html): soup = BeautifulSoup(html.content, 'lxml') # 可以在這里print下html.content看是否需要添加ua或者cookie爬取 commentsList = soup.find_all('span',class_='short') pageComments = "" for commentTag in commentsList: pageComments += commentTag.text print(pageComments) html = requests.get(url) get_one_pageComments(html)與原網(wǎng)頁對比下：
說明成功爬取到了差評內(nèi)容
（三）翻頁
接下來進(jìn)行翻頁處理，先對比下前三頁的url：
發(fā)現(xiàn)每翻一頁
start的值就加20。翻頁功能就可以實(shí)現(xiàn)了base_url = 'https://movie.douban.com/subject/26794435/comments?start={}&limit=20&sort=new_score&status=P&percent_type=l' for x in range(0, 81, 20): url = base_url.format(x) print(url)綜合以上所述，整個流程的代碼實(shí)現(xiàn)就完成了：
base_url = 'https://movie.douban.com/subject/26794435/comments?start={}&limit=20&sort=new_score&status=P&percent_type=l' def get_one_pageComments(html): soup = BeautifulSoup(html.content, 'lxml') commentsList = soup.find_all('span',class_='short') pageComments = "" for commentTag in commentsList: pageComments += commentTag.text print(pageComments) for x in range(0,81, 20): # 爬取前4頁 url = base_url.format(x) html = requests.get(url) get_one_pageComments(html) time.sleep(1)time.sleep是避免被識別出在爬取的一個措施。這樣，就完成了對該電影差評的爬取。
二、xpath
其實(shí)絕大部分都是一樣的，不同之處在于如何定位到差評文本內(nèi)容。
由于每條差評都在一個
因此，首先要定位到
text()思路清晰了，接下來就是代碼的實(shí)現(xiàn)了：
import requests from lxml import etree def get_text(url): resp = requests.get(url).content.decode('utf-8') html = etree.HTML(resp) divs = html.xpath('//div[@class="mod-bd"]/div') # print(divs) for div in divs: pl = div.xpath('//div[@class="comment"]/p/span/text()') print(pl) base_url = 'https://movie.douban.com/subject/26794435/comments?start={}&limit=20&sort=new_score&status=P&percent_type=l' for x in range(0, 81, 20): url = base_url.format(x) get_text(url)爬取后的結(jié)果：
三、正則表達(dá)式
用正則表達(dá)式去匹配一定要記住下面三個非常非常常用且作用十分的匹配式：
.+?代表所有字符re.VERBOSE代表正則表達(dá)式的注釋re.DOTALL代表.可以匹配所有字符，包括換行符我們要爬取所有的差評內(nèi)容，即要找到所有的
然后去定位
雖然分別用BeautifulSoup、Xpath、正則表達(dá)式基本實(shí)現(xiàn)了對差評內(nèi)容的爬取，但是不足之處在于沒有對爬取到的str進(jìn)行保存，是因?yàn)椴┲髟诒４鏁r總是報錯。。還沒有找到合適的解決辦法，后續(xù)會進(jìn)行完善。