有一個需求就是需要對url進行進一步的劃分得到詳細的各個字段信息,下面是簡單的實現:
#!/usr/bin/python # -*- coding: UTF-8 -*- ''' __Author__:沂水寒城 功能: 對URL進行分割,基于urlparse, publicsuffix, urllib編寫 ''' from urlparse import urlparse import codecs from publicsuffix import PublicSuffixList from urllib import splitport import re def domain_split(server_domain): ''' server_domain為網站所用服務名+域名 分割域名, 得到前綴(服務名)、主機域名、后綴(頂級域名) 輸入www.baidu.com,輸出'www', 'baidu', 'com' 輸入172.31.137.240,輸出'', '172.31.137.240', '' ''' PSL_FILE = codecs.open('public_suffix_list.dat', encoding='utf8') psl = PublicSuffixList(PSL_FILE) domain = psl.get_public_suffix(server_domain) # 取域名的第一個字段,即第一個'.'之前的為主機域名, 后面為頂級域名,前面為所使用的服務 if '.' in domain: server = server_domain[:-len(domain)] host = domain[:domain.index('.')] top = domain[domain.index('.'):] hostname = server + host + top else: # 說明提取域名失敗,例如172.31.137.240等IP形式,此時全部當作主機域名 server = '' host = server_domain top = '' hostname = server_domain return server, host, top, hostname def url_split_new(url): ''' url分割 ''' if not url.startswith('http'): # 補全協議,否則urlparse出錯 url = 'http://' + url parts = urlparse(url) # 服務+域名'www.baidu.api.com.cn'切分 server, host, top, hostname = domain_split(parts.netloc) host, port = splitport(host) if port == None: port = '' return {'protocol': parts.scheme, 'hostname': hostname, 'path': parts.path} if __name__ == '__main__': print url_split_new('http://www.baidu.com/') print url_split('http://www.baidu.com/')
以上這篇python實現切割url得到域名、協議、主機名等各個字段的例子就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
