本文實(shí)例講述了Python抓取某只基金歷史凈值數(shù)據(jù)。分享給大家供大家參考，具體如下：
http://fund.eastmoney.com/f10/jjjz_519961.html
1、接下來，我們需要?jiǎng)邮职堰@些html抓取下來(這部分知識我們之前已經(jīng)學(xué)過，現(xiàn)在不妨重溫)
# coding: utf-8
from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver
from bs4 import BeautifulSoup
from threading import Thread,Lock
import os
import csv
# 下面是利用 selenium 抓取html頁面的代碼
# 初始化函數(shù)
def initSpider():
driver = webdriver.PhantomJS(executable_path=r"你phantomjs可執(zhí)行文件的絕對路徑")
driver.get("http://fund.eastmoney.com/f10/jjjz_519961.html") # 要抓取的網(wǎng)頁地址
# 找到"下一頁"按鈕,就可以得到它前面的一個(gè)label,就是總頁數(shù)
getPage_text = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/label[text()='下一頁']/preceding-sibling::label[1]").get_attribute("innerHTML")
# 得到總共有多少頁
total_page = int("".join(filter(str.isdigit, getPage_text)))
# 返回
return (driver,total_page)
# 獲取html內(nèi)容
def getData(myrange,driver,lock):
for x in myrange:
# 鎖住
lock.acquire()
tonum = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pnum']") # 得到 頁碼文本框
jumpbtn = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pgo']") # 跳轉(zhuǎn)到按鈕
tonum.clear() # 第x頁 輸入框
tonum.send_keys(str(x)) # 去第x頁
jumpbtn.click() # 點(diǎn)擊按鈕
# 抓取
WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pagebar").find_element_by_xpath("div[@class='pagebtns']/label[@value={0} and @class='cur']".format(x)) != None)
# 保存到項(xiàng)目中
with open("../htmls/details/{0}.txt".format(x), 'wb') as f:
f.write(driver.find_element_by_id("jztable").get_attribute("innerHTML").encode('utf-8'))
f.close()
# 解鎖
lock.release()
# 開始抓取函數(shù)
def beginSpider():
# 初始化爬蟲
(driver, total_page) = initSpider()
# 創(chuàng)建鎖
lock = Lock()
r = range(1, int(total_page)+1)
step = 10
range_list = [r[x:x + step] for x in range(0, len(r), step)] #把頁碼分段
thread_list = []
for r in range_list:
t = Thread(target=getData, args=(r,driver,lock))
thread_list.append(t)
t.start()
for t in thread_list:
t.join() # 這一步是需要的,等待線程全部執(zhí)行完成
print("抓取完成")
# #################上面代碼就完成了 抓取遠(yuǎn)程網(wǎng)站html內(nèi)容并保存到項(xiàng)目中的 過程
需要說明一下這3個(gè)函數(shù)：
initSpider
函數(shù)，初始化了selenium的
webdriver
對象，并且先獲取到我們需要抓取頁面的總頁碼數(shù)。
getData
函數(shù)，有3個(gè)參數(shù)，myrange我們還是要分段抓取，之前我們學(xué)過多進(jìn)程抓取，這里我們是多線程抓取；lock參數(shù)用來鎖住線程的，防止線程沖突；driver就是我們在
initSpider
函數(shù)中初始化的
webdriver
對象。
在
getData
函數(shù)中，我們循環(huán)myrange，把抓取到的html內(nèi)容保存到了項(xiàng)目目錄中。
beginSpider
函數(shù)，我們在此函數(shù)中給總頁碼分段，并且創(chuàng)建線程，調(diào)用
getData
。
所以最后執(zhí)行：
beginSpider()
就開始抓取 http://fund.eastmoney.com/f10/jjjz_519961.html 這個(gè)基金的”歷史凈值明細(xì)”，共有31個(gè)頁面。
2、根據(jù)已經(jīng)學(xué)過的python和mysql交互的知識，我們也可以再把這些數(shù)據(jù) 寫入到數(shù)據(jù)表中。
這里就不再贅述，給出基金詳細(xì)表結(jié)構(gòu)：
CREATE TABLE `fund_detail` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`fcode` varchar(10) NOT NULL DEFAULT '' COMMENT '基金代碼',
`fdate` datetime DEFAULT NULL COMMENT '基金日期',
`NAV` decimal(10,4) DEFAULT NULL COMMENT '單位凈值',
`ACCNAV` decimal(10,4) DEFAULT NULL COMMENT '累計(jì)凈值',
`DGR` varchar(20) DEFAULT NULL COMMENT '日增長率',
`pstate` varchar(20) DEFAULT NULL COMMENT '申購狀態(tài)',
`rstate` varchar(20) DEFAULT NULL COMMENT '贖回狀態(tài)',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='基金詳細(xì)數(shù)據(jù)表';
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設(shè)計(jì)有所幫助。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
