本次爬取內容就選取章節名和章節鏈接作為舉例
url:http://www.xbiquge.la/0/215/
數據庫操作的基本方法:
1):連接數據庫
2):獲取數據庫游標
3):執行sql語句
4):斷開數據庫連接
# 連接數據庫,參數包括IP、用戶名、密碼、對應的庫名
connect = pymysql.connect('localhost', 'root', 'gui2019', 'python')
# 數據庫游標
course = connect.cursor()
# 插入語句
sql = "INSERT INTO kongfu values(default, '%s', '%s') " % (title_name, newUrl)
try:
print("正在寫入數據 ---->>>>: ", title_name)
course.execute(sql)
connect.commit()
except Exception as e:
print('數據寫入失敗!', e)
connect.rollback()
connect.close()
完整代碼如下:
要運行下面的代碼需要現在mysql創建python數據庫,kongfu表。 表結構如下圖:
# 引入第三方庫
import requests
import re
import pymysql
def get_data():
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
# 小說目錄URL
url = 'http://www.xbiquge.la/0/215/'
html = requests.get(url, headers=headers).content.decode('utf-8')
pat = r"
(.*?)
"
list = re.findall(pat, html)
return list
def db_connect(list):
for i in list:
title_url = i[0]
title_name = i[1]
newUrl = 'http://www.xbiquge.la' + title_url
# 連接數據庫,參數包括IP、用戶名、密碼、對應的庫名
connect = pymysql.connect('localhost', 'root', 'gui2019', 'python')
# 數據庫游標
course = connect.cursor()
# 插入語句
sql = "INSERT INTO kongfu values(default, '%s', '%s') " % (title_name, newUrl)
try:
print("正在寫入數據 ---->>>>: ", title_name)
course.execute(sql)
connect.commit()
except Exception as e:
print('數據寫入失敗!', e)
connect.rollback()
connect.close()
def main():
list = get_data()
db_connect(list)
if __name__ == '__main__':
main()
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
