由于工作的需求，需要用python做一個類似網絡爬蟲的采集器。雖然Python的urllib模塊提供更加方便簡潔操作，但是涉及到一些底層的需求，如手動設定User-Agent,Referer等，所以選擇了直接用socket進行設計。當然，這樣的話，需要對HTTP協議比較熟悉，HTTP協議這里就不做講解了。整個python的代碼如下:
#!/usr/bin env python
import socket
host="www.baidu.com"
se=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
se.connect((host,80))
se.send("GET / HTTP/1.1\n")
se.send("Accept:text/html,application/xhtml+xml,*/*;q=0.8\n")
#se.send("Accept-Encoding:gzip,deflate,sdch\n")
se.send("Accept-Language:zh-CN,zh;q=0.8,en;q=0.6\n")
se.send("Cache-Control:max-age=0\n")
se.send("Connection:keep-alive\n")
se.send("Host:"+host+"\r\n")
se.send("Referer:http://www.baidu.com/\n")
se.send("user-agent: Googlebot\n\n")
print se.recv(1024)
代碼運行正常，但是發現一個比較重要的問題,運行結果只返回了HTTP的頭部信息，網頁的內容則沒有被返回。網上查找了很多資料，一無所獲,經過一夜的思考，突然想到了一個問題，有可能我請求的資源非常大，一個網絡的IP包的大小，它是受很多因素制約的，最典型的便是MTU（最大傳輸單元），那么會不會我請求的數據被分割了，HTTP的頭部信息只是一部分，其它數據還在傳輸或者緩沖區呢？于是做了這樣一個遍歷:
while True:
buf = se.recv(1024)
if not len(buf):
break
print buf
這樣發現所有請求的數據均被返回了，看來要想做好網絡編程，深入理解TCP/IP協議是非常必要的。
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
