一、網絡爬蟲的定義

網絡爬蟲，即Web Spider，是一個很形象的名字。
把互聯網比喻成一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。
網絡蜘蛛是通過網頁的鏈接地址來尋找網頁的。
從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，
然后通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。
如果把整個互聯網當成一個網站，那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
這樣看來，網絡爬蟲就是一個爬行程序，一個抓取網頁的程序。
網絡爬蟲的基本操作是抓取網頁。
那么如何才能隨心所欲地獲得自己想要的頁面？
我們先從URL開始。

二、瀏覽網頁的過程

抓取網頁的過程其實和讀者平時使用IE瀏覽器瀏覽網頁的道理是一樣的。
比如說你在瀏覽器的地址欄中輸入??? www.baidu.com??? 這個地址。
打開網頁的過程其實就是瀏覽器作為一個瀏覽的“客戶端”，向服務器端發送了 一次請求，把服務器端的文件“抓”到本地，再進行解釋、展現。
HTML是一種標記語言，用標簽標記內容并加以解析和區分。
瀏覽器的功能是將獲取到的HTML代碼進行解析，然后將原始的代碼轉變成我們直接看到的網站頁面。

三、URI和URL的概念和舉例

簡單的來講，URL就是在瀏覽器端輸入的??? http://www.baidu.com??? 這個字符串。
在理解URL之前，首先要理解URI的概念。
什么是URI？
Web上每種可用的資源，如 HTML文檔、圖像、視頻片段、程序等都由一個通用資源標志符(Universal Resource Identifier， URI)進行定位。
URI通常由三部分組成：
①訪問資源的命名機制；
②存放資源的主機名；
③資源自身 的名稱，由路徑表示。
如下面的URI：
http://www.why.com.cn/myhtml/html1223/
我們可以這樣解釋它：
①這是一個可以通過HTTP協議訪問的資源，
②位于主機 www.webmonkey.com.cn上，
③通過路徑“/html/html40”訪問。

四、URL的理解和舉例

URL是URI的一個子集。它是Uniform Resource Locator的縮寫，譯為“統一資源定位 符”。
通俗地說，URL是Internet上描述信息資源的字符串，主要用在各種WWW客戶程序和服務器程序上。
采用URL可以用一種統一的格式來描述各種信息資源，包括文件、服務器的地址和目錄等。
URL的一般格式為(帶方括號[]的為可選項)：
protocol :// hostname[:port] / path / [;parameters][?query]#fragment

URL的格式由三部分組成：
①第一部分是協議(或稱為服務方式)。
②第二部分是存有該資源的主機IP地址(有時也包括端口號)。
③第三部分是主機資源的具體地址，如目錄和文件名等。
第一部分和第二部分用“://”符號隔開，
第二部分和第三部分用“/”符號隔開。
第一部分和第二部分是不可缺少的，第三部分有時可以省略。

五、URL和URI簡單比較

URI屬于URL更低層次的抽象，一種字符串文本標準。
換句話說，URI屬于父類，而URL屬于URI的子類。URL是URI的一個子集。
URI的定義是：統一資源標識符；
URL的定義是：統一資源定位符。
二者的區別在于，URI表示請求服務器的路徑，定義這么一個資源。
而URL同時說明要如何訪問這個資源（http://）。

下面來看看兩個URL的小例子。

1.HTTP協議的URL示例：
使用超級文本傳輸協議HTTP，提供超級文本信息服務的資源。
例：http://www.peopledaily.com.cn/channel/welcome.htm
其計算機域名為www.peopledaily.com.cn。
超級文本文件(文件類型為.html)是在目錄 /channel下的welcome.htm。
這是中國人民日報的一臺計算機。
例：http://www.rol.cn.net/talk/talk1.htm
其計算機域名為www.rol.cn.net。
超級文本文件(文件類型為.html)是在目錄/talk下的talk1.htm。
這是瑞得聊天室的地址，可由此進入瑞得聊天室的第1室。

2．文件的URL
用URL表示文件時，服務器方式用file表示，后面要有主機IP地址、文件的存取路 徑(即目錄)和文件名等信息。
有時可以省略目錄和文件名，但“/”符號不能省略。
例：file://ftp.yoyodyne.com/pub/files/foobar.txt
上面這個URL代表存放在主機ftp.yoyodyne.com上的pub/files/目錄下的一個文件，文件名是foobar.txt。
例：file://ftp.yoyodyne.com/pub
代表主機ftp.yoyodyne.com上的目錄/pub。
例：file://ftp.yoyodyne.com/
代表主機ftp.yoyodyne.com的根目錄。

爬蟲最主要的處理對象就是URL，它根據URL地址取得所需要的文件內容，然后對它 進行進一步的處理。
因此，準確地理解URL對理解網絡爬蟲至關重要。

好了，基礎知識就先介紹到這里，接下來我們來進行點實際的爬蟲操作