上一期博客,我本來想爬取美團(tuán)美食的,但是由于請求頭太復(fù)雜,沒有破解開其中的幾個參數(shù),所以放棄,這次我們來用selenium來模式瀏覽器抓取數(shù)據(jù),我們先來簡單看一下流程:
1,利用selenium驅(qū)動瀏覽器,得到美食列表
2,分析網(wǎng)頁,并給予翻頁后續(xù)的美食列表
3,分析提取數(shù)據(jù)(pyQuery)
項目一:美團(tuán)美食
項目地址:https://gitee.com/dwyui/pyQuery_selenium.git
由于美團(tuán)反扒嚴(yán)重,只爬取到部分?jǐn)?shù)據(jù),可以嘗試修改間隔時間來多次嘗試。
也可以自己嘗試使用PhantomJS來爬取數(shù)據(jù),和原來的代碼幾乎一致.
?
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
