Scrapy
官方介紹是
An open source and collaborative framework for extracting the data you need from websites.
In a fast, simple, yet extensible way.
意思就是
一個開源和協作框架，用于以快速，簡單，可擴展的方式從網站中提取所需的數據。
?
環境準備
本文項目使用環境及工具如下
- python3
- scrapy
- mongodb
python3 scrapy的安裝就不再敘述
mongodb是用來存儲數據的nosql非關系型數據庫 官方下載地址https://www.mongodb.com/download-center/community?jmp=docs
mongodb圖形化管理工具推薦使用nosqlmanager
?項目創建
沒錯，我們還是挑軟柿子捏，就爬取最簡單的豆瓣電影top250
這個網站幾乎是每個學習爬蟲的人都會去爬取的網站，這個網站特別有代表性 話不多說，項目開始
創建scrapy項目需要在命令行中進行
切換到工作目錄，然后輸入指令??scrapy startproject douban
即創建成功，然后使用pycharm打開項目 首先看下目錄結構
我們發現項目spiders中只有一個文件，放爬蟲的地方怎么會只有一個__init__.py呢?
別急我們還需要輸入一個命令來創建基本爬蟲? 打開cmd切換到目錄文件夾下的spiders目錄
輸入?scrapy genspider douban_spider https://movie.douban.com/top250
如下圖創建爬蟲成功??
然后我們打開項目分析目錄結構
douban? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 項目文件夾
spiders ? ? 爬蟲文件夾
__init__.py
douban_spider.py 爬蟲文件
__init__.py
ietms.py ? 定義items數據結構的地方（即我們爬取內容的屬性之類的信息）
middlewares.py 中間件
pipelines.py 定義對于items的處理方法（數據清洗等）（需要在settings中開啟pipelines選項）
settings.py 項目的設置文件，定義全局的各種設置（比如頭部代理，任務并發量，下載延遲等等）
scrapy.cfg? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?項目的配置文件（包含一些默認的配置信息）
至此我們的的項目算是創建成功了
?
確定內容
創建好項目之后下一步就是確定我們要爬取的內容了，然后才可以開始編寫我們的items.py文件
首先打開目標網頁進行分析?
網頁中有哪些東西是我們需要的呢？
- 電影排名編號
- 電影名稱
- 電影演職員以及年份分類
- 電影星級評分?
- 評論人數
- 電影簡介?
現在就可以根據內容來編寫items.py文件了
items.py文件代碼編寫如下
#
-*- coding: utf-8 -*-
#
Define here the models for your scraped items
#
#
See documentation in:
#
https://docs.scrapy.org/en/latest/topics/items.html
import
scrapy
class
DoubanItem(scrapy.Item):
#
示例
#
define the fields for your item here like:
#
name = scrapy.Field()
serial_number
= scrapy.Field()
#
排名
movie_name = scrapy.Field()
#
電影名稱
introduce = scrapy.Field()
#
電影簡介基本信息
star = scrapy.Field()
#
電影星級評分
evaluate = scrapy.Field()
#
電影評論人數
describe = scrapy.Field()
#
電影內容簡介
?
?
內容提取spider文件編寫
確定內容之后就是非常關鍵的spider爬蟲文件編寫了?
測試階段douban_spider.py文件編寫如下：
#
-*- coding: utf-8 -*-
import
scrapy
class
DoubanSpiderSpider(scrapy.Spider):
#
爬蟲名字
name =
'
douban_spider
'
#
允許的域名 爬取url都屬于這個域名
allowed_domains = [
'
movie.douban.com
'
]
#
起始url
start_urls = [
'
https://movie.douban.com/top250/
'
]
def
parse(self, response):
print
(response.text)
#
打印響應內容
pass
然后我們需要運行下我們的爬蟲看下現在能否出什么信息
打開命令窗口并cd到項目目錄下輸入命令? ?scrapy crawl douban_spider
douban_spider是爬蟲的名字
運行如下圖
發現里面有爬蟲的信息也有返回響應的信息，但是我們可以看出來沒有我們想要的電影信息，現在怎么辦？
稍微學習過爬蟲的同學都知道，爬蟲是需要修改?USER_AGENT 的，這也是最簡單的反爬蟲機制，所以我們同樣需要去修改我們爬蟲的用戶代理
去哪找頭部代理呢？簡單一點的可以直接去百度搜索一個，或者呢我們用瀏覽器調試臺把自己的用戶代理復制下來
例如chrome瀏覽器按F12點擊一個資源復制出來用戶代理即可不再贅述
打開settings.py文件? 找到USER_AGENT修改如下：
#
Crawl responsibly by identifying yourself (and your website) on the user-agent
#
USER_AGENT = 'douban (+http://www.yourdomain.com)'
USER_AGENT =
'
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36
'
然后我們再次打開命令窗口并cd到項目目錄下輸入命令? ?scrapy crawl douban_spider
發現已經有了我們想要的電影信息
同時每次在命令行運行spider確實不方便，我們可以在項目中添加一個main.py的啟動文件如下
main.py編寫代碼：
from
scrapy
import
cmdline
cmdline.execute(
'
scrapy crawl douban_spider
'
.split())
運行，發現就得到了與命令行運行一樣的效果了
接下來的工作就是 數據處理 了，提取出我們想要的信息? 繼續編寫spider.py文件
對于數據的提取我們使用xpath定位 先來觀察目標網站的元素 我們可以看到top250電影中每一頁有25個電影信息 并且每個電影信息都是一個列表 li
xpath有好多種寫法 我們可以審查元素然后編寫xpath定位，或者呢直接用chrome也可以直接獲取某元素的xpath路徑
例如使用某xpath瀏覽器插件來找我們需要的元素 我們首先先找到每個電影的定位
如圖我們編寫?//ol[@class='grid_view']/li/div[@class='item'] 就可以定位到當前每個電影 其實我們簡單點直接寫 //ol/li 也可以，但是我們最好直接精確一點 xpath語法如下
| 表達式 | 描述 |
|---|---|
| nodename | 選取此節點的所有子節點。 |
| / | 從根節點選取。 |
| // | 從匹配選擇的當前節點選擇文檔中的節點，而不考慮它們的位置。 |
| . | 選取當前節點。 |
| .. | 選取當前節點的父節點。 |
| @ | 選取屬性。 |
然后同理，我們就可以找到電影排名，名稱，評論等等信息的xpath， 接下來在spider.py文件中引用我們的 items.py中編寫的DoubanItem類 然后完成對象屬性的賦值
spider.py文件代碼：
#
-*- coding: utf-8 -*-
import
scrapy
from
douban.items
import
DoubanItem
class
DoubanSpiderSpider(scrapy.Spider):
#
爬蟲名字
name =
'
douban_spider
'
#
允許的域名 爬取url都屬于這個域名
allowed_domains = [
'
movie.douban.com
'
]
#
起始url
start_urls = [
'
https://movie.douban.com/top250/
'
]
#
默認解析方法
def
parse(self, response):
#
注意在python語句中使用xpath如 注意與原來語句單雙引號的問題
movie_list=response.xpath(
"
//ol[@class='grid_view']/li/div[@class='item']
"
)
for
movie_item
in
movie_list:
douban_item
=
DoubanItem()
#
xpath語句最后的text()是獲取當前xpath的內容
#
scrapy get() getall()方法獲得xpath路徑的值 兩種方法不同請百度
douban_item[
'
serial_number
'
] = movie_item.xpath(
"
.//em/text()
"
).get()
douban_item[
'
movie_name
'
] = movie_item.xpath(
"
.//span[@class='title']/text()
"
).get()
#
介紹的內容非常不規范并且有好多行，首先使用getall()來獲取，然后我們要對其進行處理
content = movie_item.xpath(
"
.//div[@class='bd']/p[1]/text()
"
).getall()
#
處理
contient_introduce=
''
for
conitem
in
content:
content_s
=
''
.join(conitem.split())
contient_introduce
=contient_introduce+content_s+
'
'
#
賦值
douban_item[
'
introduce
'
] =
contient_introduce
douban_item[
'
star
'
] = movie_item.xpath(
"
.//span[@class='rating_num']/text()
"
).get()
douban_item[
'
evaluate
'
] = movie_item.xpath(
"
.//div[@class='star']/span[4]/text()
"
).get()
douban_item[
'
describe
'
] = movie_item.xpath(
"
.//div[@class='bd']/p[2]/span/text()
"
).get()
#
我們需要把獲取到的東西yield到douban_item中，否則我們的管道pipelines.py無法接收數據
yield
douban_item
#
我們需要自動翻頁到下一頁去解析數據
next_linkend=response.xpath(
"
//span[@class='next']/a/@href
"
).get()
#
判斷next_linkend是否存在
if
next_linkend:
next_link
=
'
https://movie.douban.com/top250/
'
+
next_linkend
#
同樣需要yield提交到調度器中 同時添加一個回調函數(剛剛編寫的數據提取函數)
yield
scrapy.Request(next_link,callback=self.parse)
數據存儲
我們可以使用命令直接將數據保存到 json或者csv文件如下
還是使用命令行? ?cd到項目目錄??
輸入命令? scrapy crawl douban_spider -o test.json 就可以得到一個json文件
輸入命令??scrapy crawl douban_spider -o test.csv? 就可以得到一個csv文件
這個csv文件可以直接用excel打開瀏覽，但是我們會發現存在亂碼，我們可以先用notepad++打開文件改下編碼方式然后保存再用excel打開即可
存儲到數據庫
接下來我們需要對pipelines.py進行編寫，將數據存儲到mongodb中
注意 我們需要在setting.py中將 ITEM_PIPELINES 的注釋關掉，這樣才能正常的運行pipelines.py
pipelines.py代碼：
#
-*- coding: utf-8 -*-
#
Define your item pipelines here
#
#
Don't forget to add your pipeline to the ITEM_PIPELINES setting
#
See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
import
pymongo
#
連接本地數據庫 遠程也可以
myclient = pymongo.MongoClient(
"
mongodb://localhost:27017/
"
)
#
數據庫名稱
mydb = myclient[
"
douban
"
]
#
數據表名稱
mysheet = mydb[
"
movie
"
]
class
DoubanPipeline(object):
#
此中的item就是剛剛yield回來的
def
process_item(self, item, spider):
data
=
dict(item)
#
插入數據
mysheet.insert(data)
return
item
現在運行 main.py 數據就存儲到數據庫之中了，我們可以打開數據庫查看數據
至此，我們的爬蟲項目可以說已經完成了。
?
爬蟲偽裝
- ip代理中間件
- user-agent中間件
ip代理需要購買服務器然后可以使用先不提了?
我們嘗試下user-agent中間件
編寫middlewares.py再最后新加入我們自己編寫的類(文件最上端要 import random)：
class
my_useragent(object):
def
process_request(self,request,spider):
USER_AGENT_LIST
=
[
"
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
"
,
"
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)
"
,
"
Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)
"
,
"
Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)
"
,
"
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)
"
,
"
Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)
"
,
"
Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)
"
,
"
Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)
"
,
"
Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6
"
,
"
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1
"
,
"
Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0
"
,
"
Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5
"
,
"
Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6
"
,
"
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11
"
,
"
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20
"
,
"
Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52
"
,
]
agent
=
random.choice(USER_AGENT_LIST)
request.headers[
'
User_Agent
'
] = agent
然后去 settings.py 中開啟中間件并修改為我們剛剛創建的類如下圖
然后再運行 main.py 就都OK了。
?
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
