一、中國大學(xué)排名爬蟲案例的步驟如下：

步驟1：從網(wǎng)絡(luò)上獲取大學(xué)排名網(wǎng)頁內(nèi)容 getHTMLText()

步驟2：提取網(wǎng)頁內(nèi)容中信息到合適的數(shù)據(jù)結(jié)構(gòu) fillUnivList()

步驟3：利用數(shù)據(jù)結(jié)構(gòu)展示并輸出結(jié)果 printUnivList()

查看?http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html?的源碼，部分如下：

實現(xiàn)本案例的參考代碼如下：

            
              import requests
import bs4
from bs4 import BeautifulSoup

def getHTMLText(url):
    '''從網(wǎng)絡(luò)上獲取大學(xué)排名網(wǎng)頁內(nèi)容'''
    try:
        r = requests.get(url, timeout=30)
        # #如果狀態(tài)不是200，就會引發(fā)HTTPError異常
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist, html):
    '''提取網(wǎng)頁內(nèi)容中信息到合適的數(shù)據(jù)結(jié)構(gòu)'''
    soup = BeautifulSoup(html, "html.parser")
    # 查找html中tbody標簽的所有子標簽
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):            
            tds = tr('td')
            # tds[0].string 是排名，tds[1].string 是學(xué)校名稱，tds[3].string 是學(xué)校的總分
            ulist.append([tds[0].string, tds[1].string, tds[3].string])

def printUnivList(ulist, num):
    ''' 打印前 num 名的大學(xué)'''
     # {1:{3}^10} 中的 {3} 代表取第三個參數(shù)
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","學(xué)校名稱","總分",chr(12288))) # chr(12288) 代表中文空格
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288))) # chr(12288) 代表中文空格

def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
    html = getHTMLText(url)# 獲取大學(xué)排名網(wǎng)頁內(nèi)容
    fillUnivList(uinfo, html)#提取網(wǎng)頁內(nèi)容中信息   
    printUnivList(uinfo, 20) #輸出結(jié)果

main()
            
          

結(jié)果如下：