最近需要對節(jié)點到源站自己做個監(jiān)控,簡單的ping可以檢測到一些東西,但是http請求的檢查也要進行,于是就研究了下pycurl。
pycurl是個用c語言實現(xiàn)的python 庫,雖然據(jù)說不是那么pythonic,但是卻很高效,它支持的協(xié)議居多:
supporting FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cookies, user+password authentication, file transfer resume, http proxy tunneling and more!
這一堆協(xié)議已經(jīng)很多了,我需要就是http一個,相對urlib來說,這個庫可能更快些。
以下這個腳本是對某一個給定的url進行檢查,并打印出http相應(yīng)碼,響應(yīng)大小,建立連接時間,準備傳輸時間,傳輸?shù)谝粋€字節(jié)時間,完成時間。
#!/usr/bin/python # coding: UTF-8 import StringIO import pycurl import sys import os class Test: def __init__(self): self.contents = '' def body_callback(self,buf): self.contents = self.contents + buf def test_gzip(input_url): t = Test() #gzip_test = file("gzip_test.txt", 'w') c = pycurl.Curl() c.setopt(pycurl.WRITEFUNCTION,t.body_callback) c.setopt(pycurl.ENCODING, 'gzip') c.setopt(pycurl.URL,input_url) c.perform() http_code = c.getinfo(pycurl.HTTP_CODE) http_conn_time = c.getinfo(pycurl.CONNECT_TIME) http_pre_tran = c.getinfo(pycurl.PRETRANSFER_TIME) http_start_tran = c.getinfo(pycurl.STARTTRANSFER_TIME) http_total_time = c.getinfo(pycurl.TOTAL_TIME) http_size = c.getinfo(pycurl.SIZE_DOWNLOAD) print 'http_code http_size conn_time pre_tran start_tran total_time' print "%d %d %f %f %f %f"%(http_code,http_size,http_conn_time,http_pre_tran,http_start_tran,http_total_time) if __name__ == '__main__': input_url = sys.argv[1] test_gzip(input_url)
腳本運行效果
xu:~/curl$ python pycurl_test.py http://daxuxu.info/ http_code http_size conn_time pre_tran start_tran total_time 200 8703 0.748147 0.748170 1.632642 1.636552
pycurl 的一些響應(yīng)信息:
(參考: http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html )
pycurl.NAMELOOKUP_TIME 域名解析時間 pycurl.CONNECT_TIME 遠程服務(wù)器連接時間 pycurl.PRETRANSFER_TIME 連接上后到開始傳輸時的時間 pycurl.STARTTRANSFER_TIME 接收到第一個字節(jié)的時間 pycurl.TOTAL_TIME 上一請求總的時間 pycurl.REDIRECT_TIME 如果存在轉(zhuǎn)向的話,花費的時間 pycurl.EFFECTIVE_URL pycurl.HTTP_CODE HTTP 響應(yīng)代碼 pycurl.REDIRECT_COUNT 重定向的次數(shù) pycurl.SIZE_UPLOAD 上傳的數(shù)據(jù)大小 pycurl.SIZE_DOWNLOAD 下載的數(shù)據(jù)大小 pycurl.SPEED_UPLOAD 上傳速度 pycurl.HEADER_SIZE 頭部大小 pycurl.REQUEST_SIZE 請求大小 pycurl.CONTENT_LENGTH_DOWNLOAD 下載內(nèi)容長度 pycurl.CONTENT_LENGTH_UPLOAD 上傳內(nèi)容長度 pycurl.CONTENT_TYPE 內(nèi)容的類型 pycurl.RESPONSE_CODE 響應(yīng)代碼 pycurl.SPEED_DOWNLOAD 下載速度 pycurl.SSL_VERIFYRESULT pycurl.INFO_FILETIME 文件的時間信息 pycurl.HTTP_CONNECTCODE HTTP 連接代碼 pycurl.HTTPAUTH_AVAIL pycurl.PROXYAUTH_AVAIL pycurl.OS_ERRNO pycurl.NUM_CONNECTS pycurl.SSL_ENGINES pycurl.INFO_COOKIELIST pycurl.LASTSOCKET pycurl.FTP_ENTRY_PATH
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
