欧美三区_成人在线免费观看视频_欧美极品少妇xxxxⅹ免费视频_a级毛片免费播放_鲁一鲁中文字幕久久_亚洲一级特黄

零基礎寫python爬蟲之HTTP異常處理

系統 1649 0

先來說一說HTTP的異常處理問題。
當urlopen不能夠處理一個response時,產生urlError。
不過通常的Python APIs異常如ValueError,TypeError等也會同時產生。
HTTPError是urlError的子類,通常在特定HTTP URLs中產生。

1.URLError
通常,URLError在沒有網絡連接(沒有路由到特定服務器),或者服務器不存在的情況下產生。
這種情況下,異常同樣會帶有"reason"屬性,它是一個tuple(可以理解為不可變的數組),
包含了一個錯誤號和一個錯誤信息。
我們建一個urllib2_test06.py來感受一下異常的處理:

復制代碼 代碼如下:

import urllib2?
req = urllib2.Request('http://www.baibai.com')?
try: urllib2.urlopen(req)?
except urllib2.URLError, e:???
??? print e.reason?

按下F5,可以看到打印出來的內容是:
[Errno 11001] getaddrinfo failed
也就是說,錯誤號是11001,內容是getaddrinfo failed

2.HTTPError

服務器上每一個HTTP 應答對象response包含一個數字"狀態碼"。
有時狀態碼指出服務器無法完成請求。默認的處理器會為你處理一部分這種應答。
例如:假如response是一個"重定向",需要客戶端從別的地址獲取文檔,urllib2將為你處理。
其他不能處理的,urlopen會產生一個HTTPError。
典型的錯誤包含"404"(頁面無法找到),"403"(請求禁止),和"401"(帶驗證請求)。
HTTP狀態碼表示HTTP協議所返回的響應的狀態。
比如客戶端向服務器發送請求,如果成功地獲得請求的資源,則返回的狀態碼為200,表示響應成功。
如果請求的資源不存在, 則通常返回404錯誤。

HTTP狀態碼 通常分為5種類型,分別以1~5五個數字開頭,由3位整數組成:
------------------------------------------------------------------------------------------------
200:請求成功????? 處理方式:獲得響應的內容,進行處理
201:請求完成,結果是創建了新資源。新創建資源的URI可在響應的實體中得到??? 處理方式:爬蟲中不會遇到
202:請求被接受,但處理尚未完成??? 處理方式:阻塞等待
204:服務器端已經實現了請求,但是沒有返回新的信 息。如果客戶是用戶代理,則無須為此更新自身的文檔視圖。??? 處理方式:丟棄
300:該狀態碼不被HTTP/1.0的應用程序直接使用, 只是作為3XX類型回應的默認解釋。存在多個可用的被請求資源。??? 處理方式:若程序中能夠處理,則進行進一步處理,如果程序中不能處理,則丟棄
301:請求到的資源都會分配一個永久的URL,這樣就可以在將來通過該URL來訪問此資源??? 處理方式:重定向到分配的URL
302:請求到的資源在一個不同的URL處臨時保存???? 處理方式:重定向到臨時的URL
304 請求的資源未更新???? 處理方式:丟棄
400 非法請求???? 處理方式:丟棄
401 未授權???? 處理方式:丟棄
403 禁止???? 處理方式:丟棄
404 沒有找到???? 處理方式:丟棄
5XX 回應代碼以“5”開頭的狀態碼表示服務器端發現自己出現錯誤,不能繼續執行請求??? 處理方式:丟棄
------------------------------------------------------------------------------------------------

HTTPError實例產生后會有一個整型'code'屬性,是服務器發送的相關錯誤號。

Error Codes錯誤碼

因為默認的處理器處理了重定向(300以外號碼),并且100-299范圍的號碼指示成功,所以你只能看到400-599的錯誤號碼。
BaseHTTPServer.BaseHTTPRequestHandler.response是一個很有用的應答號碼字典,顯示了HTTP協議使用的所有的應答號。
當一個錯誤號產生后,服務器返回一個HTTP錯誤號,和一個錯誤頁面。
你可以使用HTTPError實例作為頁面返回的應答對象response。
這表示和錯誤屬性一樣,它同樣包含了read,geturl,和info方法。
我們建一個urllib2_test07.py來感受一下:

復制代碼 代碼如下:

import urllib2?
req = urllib2.Request('//www.jb51.net/callmewhy')?
try:?
??? urllib2.urlopen(req)?
except urllib2.URLError, e:?
??? print e.code?
??? #print e.read()?

按下F5可以看見輸出了404的錯誤碼,也就說沒有找到這個頁面。

3.Wrapping

所以如果你想為HTTPError或URLError做準備,將有兩個基本的辦法。推薦使用第二種。
我們建一個urllib2_test08.py來示范一下第一種異常處理的方案:

復制代碼 代碼如下:

from urllib2 import Request, urlopen, URLError, HTTPError?
req = Request('//www.jb51.net/callmewhy')?
try:?
??? response = urlopen(req)?
except HTTPError, e:?
??? print 'The server couldn\'t fulfill the request.'?
??? print 'Error code: ', e.code?
except URLError, e:?
??? print 'We failed to reach a server.'?
??? print 'Reason: ', e.reason?
else:?
??? print 'No exception was raised.'?
??? # everything is fine?

和其他語言相似,try之后捕獲異常并且將其內容打印出來。
這里要注意的一點,except HTTPError 必須在第一個,否則except URLError將同樣接受到HTTPError 。
因為HTTPError是URLError的子類,如果URLError在前面它會捕捉到所有的URLError(包括HTTPError )。

我們建一個urllib2_test09.py來示范一下第二種異常處理的方案:

復制代碼 代碼如下:

from urllib2 import Request, urlopen, URLError, HTTPError?
req = Request('//www.jb51.net/callmewhy')?
try:???
??? response = urlopen(req)???
except URLError, e:???
??? if hasattr(e, 'code'):???
??????? print 'The server couldn\'t fulfill the request.'???
??????? print 'Error code: ', e.code???
??? elif hasattr(e, 'reason'):???
??????? print 'We failed to reach a server.'???
??????? print 'Reason: ', e.reason???
else:???
??? print 'No exception was raised.'???
??? # everything is fine???


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 波多野结衣办公室33分jian情 | 91网页在线观看 | 欧美性video| 在线a人片免费观看国产 | 超碰免费在线观看 | 久久精品国产精品青草图片 | 国产精品污污视频 | 排球少年第五季樱花动漫免费观看 | 毛片大全免费 | 一级在线观看 | 色精品一区二区三区 | 新视觉yy6080午夜毛片 | 精品在线视频一区 | 欧美一级精品片在线看 | 欧美精品免费线视频观看视频 | 蜜桃免费一区二区三区 | 色欧美片视频在线观看 | 成人性生交A片免费网 | 国产在线视频一区二区 | 啪视频免费 | 天天在线 | 成人欧美s视频在线观看 | 轻轻啪在线视频播放 | 91网站免费观看直播 | 欧美影院推理片免费看 | 青青草国产精品欧美成人 | 欧美日韩国产精品自在自线 | 久久青草精品免费资源站 | 中文乱码一二三四有限公司 | 色天天爱天天狠天天透 | 亚瑟天堂久久一区二区影院 | 国产午夜精品AV一区二区 | 小明永久成人一区二区 | 五月婷婷狠狠干 | 男女激情啪啪 | 成年人在线播放 | 成人免费体验区福利云点播 | 欧美日韩精品一区二区在线播放 | 国产成人一区二区 | 成人免费视频一区 | 日韩免费一区二区 |