Scrapy 是一個開源的?Python?數據抓取框架，速度快，強大，而且使用簡單。

來看一個官網主頁上的簡單并完整的爬蟲：

雖然只有10行左右的代碼，但是它的確是一個完整的爬蟲服務：

當執行scrapy runspider xxx.py命令的時候， Scrapy在項目里查找Spider(蜘蛛?)并通過爬蟲引擎來執行它。

首先從定義在start_urls里的URL開始發起請求，然后通過parse()方法處理響應。response參數就是返回的響應對象。

在parse()方法中，通過一個CSS選擇器獲取想要抓取的數據。

Scrapy所有的請求都是異步的，也就是說Scrapy不需要等一個請求完成才能處理下一條請求，而是同時發起另一條請求。

而且，異步請求的另一個好處是當某個請求失敗了，其他的請求不會受到影響。

安裝(Mac)

pip install scrapy

Scrapy中幾個需要了解的概念

Spiders

Spider類想要表達的是：如何抓取一個確定了的網站的數據。比如在start_urls里定義的去哪個鏈接抓取，parse()方法中定義的要抓取什么樣的數據。

當一個Spider開始執行的時候，它首先從start_urls()中的第一個鏈接開始發起請求，然后在callback里處理返回的數據。

Items

Item類提供格式化的數據，可以理解為數據Model類。

Selectors

Scrapy的Selector類基于lxml庫，提供HTML或XML轉換功能。以response對象作為參數生成的Selector實例即可通過實例對象的xpath()方法獲取節點的數據。

編寫一個Web爬蟲

接下來將上一個Beautiful Soup版的抓取書籍信息的例子（使用Beautiful Soup編寫一個爬蟲 系列隨筆匯總）改寫成Scrapy版本。

新建項目

scrapy startproject book_project

這行命令會創建一個名為book_project的項目。

編寫Item類

即實體類，代碼如下：

編寫Spider類

設置這個Spider的名稱，允許爬取的域名和從哪個鏈接開始：

遍歷分頁數據的方法

'//a'的意思所有的a標簽；

'//a[contains(@title, "Last Page →")' 的意思是在所有的a標簽中，title屬性包涵"Last Page →"的a標簽；

extract() 方法解析并返回符合條件的節點數據。

從allitebooks.com獲取書籍信息方法

從amazon.com獲取書籍價格方法? ? ? ? ? ??

啟動服務開始抓取

scrapy crawl bookinfo -o books.csv

-o books.csv?參數的意思是將抓取的Item集合輸出到csv文件。

結果：