?

一、在豆瓣網(wǎng)爬取以下圖書的信息：

?

二、參考代碼：

1、連接 MongoDB 數(shù)據(jù)庫(kù)，并且創(chuàng)建數(shù)據(jù)庫(kù)和表

            
              import pymongo
myclient = pymongo.MongoClient("mongodb://127.0.0.1:27017/")

db = myclient['webCrawler'] # 創(chuàng)建數(shù)據(jù)庫(kù) webCrawler

datatable = db['Book_info'] # 創(chuàng)建 Book_info 表
            
          

2、爬取數(shù)據(jù)并且 存儲(chǔ)到數(shù)據(jù)庫(kù)

            
              import re 
import pandas as pd
import requests
from bs4 import BeautifulSoup


dataSet = [] # 用來(lái)存儲(chǔ) 爬取下來(lái)的書籍信息

# 爬取 前五頁(yè) 的數(shù)據(jù)
for i in range(5):
       
    u = 'https://book.douban.com/tag/%E4%BA%92%E8%81%94%E7%BD%91?start='+str(i*20)+'&type=T'
    
    txt = requests.get(url = u)
    
    soup = BeautifulSoup(txt.text,'lxml') # 解析網(wǎng)址：使用 BeautifulSoup解析網(wǎng)址內(nèi)容
    
    lis = soup.find('ul',class_="subject-list").find_all('li') # 查找所有 ul 的class 為"subject-list"下的 所有 li 標(biāo)簽
    
    
    for li in lis:
        book_dict = {} # 用來(lái)存儲(chǔ) 每本書的信息
        book_dict['書名'] = li.h2.text.replace(' ','').replace('\n','')
        book_dict['其他信息'] = li.find('div',class_="pub").text.replace(' ','').replace('\n','')
        book_dict['評(píng)分'] = li.find('span',class_='rating_nums').text
        book_dict['評(píng)價(jià)人數(shù)'] = re.search(r'(\d*)人',li.find('span',class_='pl').text.replace(' ','').replace('\n','')).group(1)
        
        datatable.insert_one(book_dict) # 插入 圖書信息到數(shù)據(jù)庫(kù)中
        
        dataSet.append(book_dict) # 把每本書的信息 添加到列表中       
        

dataSetdf = pd.DataFrame(dataSet) # 將 list 類型的數(shù)據(jù)轉(zhuǎn)換成 DataFrame 類型
            
          

三、可在數(shù)據(jù)庫(kù)里查看爬取下來(lái)的信息：