欧美三区_成人在线免费观看视频_欧美极品少妇xxxxⅹ免费视频_a级毛片免费播放_鲁一鲁中文字幕久久_亚洲一级特黄

學習Python爬蟲,抓取美女圖片它不香嘛?

系統 1726 0

學習編程語言是很枯燥的,尤其是對一個編程零基礎的人來說,更為枯燥!所以我們要從枯燥的學習中找點樂趣和動力!比如,抓點小姐姐的圖片


在這里插入圖片描述

完整代碼

          
            import os
import time
import requests
from lxml import etree
'''
遇到不懂的問題?Python學習交流群:821460695滿足你的需求,資料都已經上傳群文件,可以自行下載!
'''
def get_img_url(url):
    '''
    :param url: 圖集url
    :return: 圖集名字和圖片地址所構成的字典
    '''
    img = {}#空字典,用于放圖片url和對應的編號
    html = requests.get(url)#獲取頁面源碼
    html.encoding = 'gb2312'
    data = etree.HTML(html.text)#解析
    title = data.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/text()')[0]#圖集名
    page = data.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/span/span[2]/text()')[0]#圖集圖片數
    img['1'] = data.xpath('//a[@class="down-btn"]/@href')[0]#第一張的圖片地址
    for i in range(2,int(page)+1):
        #其余的圖片地址
        img_url = etree.HTML(requests.get(url.replace('.html','_%s.html'%str(i))).text).xpath('//a[@class="down-btn"]/@href')[0]
        img['%s'%str(i)] = img_url#寫入字典
    return title,img


def downloader(url,path,name,header={}):
    start = time.time()#開始時間
    if os.path.exists(path):  # 判斷路徑及文件夾是否存在,不存在即創建
        pass
    else:
        os.mkdir(path)
    size = 0
    if header is None:
        response = requests.get(url, stream=True)#stream屬性必須帶上
    else:
        response = requests.get(url, stream=True,headers=header)#stream屬性必須帶上
    chunk_size = 1024#每次下載的數據大小
    content_size = int(response.headers['content-length'])#總大小
    if response.status_code == 200:
        print('[文件大小]:%0.2f MB' % (content_size / chunk_size / 1024))#換算單位并print
        with open(path+'\\%s'%name, "ab") as file:
            for data in response.iter_content(chunk_size=chunk_size):
                file.write(data)
                file.flush()#清空緩存
                size += len(data)#已下載文件大小
                #\r指定行第一個字符開始,搭配end屬性完成覆蓋進度條
                print('\r'+'[下載進度]:%s%.2f%%' % ('>'*int(size*50/ content_size),float(size / content_size * 100)),end='')
    end = time.time()#結束時間
    print('\n'+"%s下載完成!用時%.2f秒"%(name,(end-start)))

if __name__ == '__main__':
    url_list=[]#放入所有頁面url
    url = 'http://www.mmonly.cc/mmtp/'
    url_list.append(url)#先放入第一頁
    html = requests.get(url)
    html.encoding = 'gb2312'
    page = etree.HTML(html.text).xpath('//a[text()="末頁"]/@href')[0].split('_')[-1].split('.')[0]
    for i in range(2,int(page)+1):
        url_list.append(url+'list_9_{}.html'.format(str(i)))#其余頁面url,注意第一頁和其他頁不一樣
    for url_i in url_list:
        img_urls = etree.HTML(requests.get(url_i).text).xpath('//div[@class="ABox"]/a/@href')
        for img_url in img_urls:
            title,imgs = get_img_url(img_url)
            for img in imgs.keys():
                path = 'E:\\python\\mn\\%s' % title
                downloader(url= imgs[img],path=path,name='%s.jpg'%(title+img))

          
        
實現效果圖

更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 日本三级带日本三级带黄国产 | 香蕉一区 | 国产精品高潮呻吟久久aⅴ码 | 国产九一精品 | 亚州a | 美女网站在线观看视频18 | 亚洲国产一区二区三区四区 | 国产精品美女久久久久aⅴ国产馆 | 成人午夜在线观看 | 亚洲欧洲日本天天堂在线观看 | 欧美日韩视频在线第一区 | 操欧美女| 日韩精品在线一区 | 亚洲性后网 | 狠狠色噜噜狠狠狠狠色吗综合 | 亚洲视频 欧美视频 | 免费久久一级欧美特大黄 | 理论片91| 国内久久 | 小优视频为爱而生懂你更多茄子 | 日韩在线观看视频网站 | 亚洲国产成人精彩精品 | 亚洲第一a亚洲 | av老司机久久 | 99久久免费视频在线观看 | www.99riav.com| 亚洲色综合 | 精久久久久 | 日韩亚洲一区二区三区 | 日韩成人在线播放 | 天天插天天 | 涩涩色中文综合亚洲 | 久久精品一区二区三区四区 | 91操美女 | 激情视频免费 | 福利视频二区 | 国内精品一区二区三区最新 | 一区二区电影 | 无名者电影在线完整版免费 | www.成人.com | 亚洲综合在线视频 |