學習編程語言是很枯燥的,尤其是對一個編程零基礎的人來說,更為枯燥!所以我們要從枯燥的學習中找點樂趣和動力!比如,抓點小姐姐的圖片
完整代碼
import os
import time
import requests
from lxml import etree
'''
遇到不懂的問題?Python學習交流群:821460695滿足你的需求,資料都已經上傳群文件,可以自行下載!
'''
def get_img_url(url):
'''
:param url: 圖集url
:return: 圖集名字和圖片地址所構成的字典
'''
img = {}#空字典,用于放圖片url和對應的編號
html = requests.get(url)#獲取頁面源碼
html.encoding = 'gb2312'
data = etree.HTML(html.text)#解析
title = data.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/text()')[0]#圖集名
page = data.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/span/span[2]/text()')[0]#圖集圖片數
img['1'] = data.xpath('//a[@class="down-btn"]/@href')[0]#第一張的圖片地址
for i in range(2,int(page)+1):
#其余的圖片地址
img_url = etree.HTML(requests.get(url.replace('.html','_%s.html'%str(i))).text).xpath('//a[@class="down-btn"]/@href')[0]
img['%s'%str(i)] = img_url#寫入字典
return title,img
def downloader(url,path,name,header={}):
start = time.time()#開始時間
if os.path.exists(path): # 判斷路徑及文件夾是否存在,不存在即創建
pass
else:
os.mkdir(path)
size = 0
if header is None:
response = requests.get(url, stream=True)#stream屬性必須帶上
else:
response = requests.get(url, stream=True,headers=header)#stream屬性必須帶上
chunk_size = 1024#每次下載的數據大小
content_size = int(response.headers['content-length'])#總大小
if response.status_code == 200:
print('[文件大小]:%0.2f MB' % (content_size / chunk_size / 1024))#換算單位并print
with open(path+'\\%s'%name, "ab") as file:
for data in response.iter_content(chunk_size=chunk_size):
file.write(data)
file.flush()#清空緩存
size += len(data)#已下載文件大小
#\r指定行第一個字符開始,搭配end屬性完成覆蓋進度條
print('\r'+'[下載進度]:%s%.2f%%' % ('>'*int(size*50/ content_size),float(size / content_size * 100)),end='')
end = time.time()#結束時間
print('\n'+"%s下載完成!用時%.2f秒"%(name,(end-start)))
if __name__ == '__main__':
url_list=[]#放入所有頁面url
url = 'http://www.mmonly.cc/mmtp/'
url_list.append(url)#先放入第一頁
html = requests.get(url)
html.encoding = 'gb2312'
page = etree.HTML(html.text).xpath('//a[text()="末頁"]/@href')[0].split('_')[-1].split('.')[0]
for i in range(2,int(page)+1):
url_list.append(url+'list_9_{}.html'.format(str(i)))#其余頁面url,注意第一頁和其他頁不一樣
for url_i in url_list:
img_urls = etree.HTML(requests.get(url_i).text).xpath('//div[@class="ABox"]/a/@href')
for img_url in img_urls:
title,imgs = get_img_url(img_url)
for img in imgs.keys():
path = 'E:\\python\\mn\\%s' % title
downloader(url= imgs[img],path=path,name='%s.jpg'%(title+img))
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
