欧美三区_成人在线免费观看视频_欧美极品少妇xxxxⅹ免费视频_a级毛片免费播放_鲁一鲁中文字幕久久_亚洲一级特黄

python 爬取網站圖片

系統 1831 0

?爬取圖片方法一:?requests

            
              #!/usr/bin/python2.7 
# -*- coding: utf-8 -*-
import re
import requests
import os
import shutil

suyan_url= 'http://www.xiaohuar.com/s-1-2069.html'

response  = requests.get(suyan_url)
# print(response.content)

lists = re.findall(r'href="(?:.*?)".*?class="(?:.*?)"',response.text,re.S)  #re.S 把文本信息轉換成1行匹配

folder = 'aabb'
if os.path.exists(folder):
        shutil.rmtree(folder)
os.mkdir(folder);
os.chdir(folder);

for each in lists:
    imgurl = each.split(' ')[0][6:-1]
    if imgurl[-4:] == '.jpg':
        filename = imgurl.split('/')[-1]
        img  = requests.get(imgurl)
        with open(filename,'wb') as f:
            f.write(img.content)
            
          

?

爬取圖片方法二:urllib.request

            
              import urllib.request
import os
import random
import shutil

def url_open(url):
    req = urllib.request.Request(url)
    #模擬瀏覽器登陸 獲取
    req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36')
    
    proxies = ['124.207.82.166:8008', '218.89.14.142:8060', '49.64.86.43:8080', '101.231.104.82:80']
    proexy = random.choice(proxies)
    # 使用代理ip訪問
    proxy_support = urllib.request.ProxyHandler({'http':proexy})
    opener = urllib.request.build_opener(proxy_support)
    urllib.request.install_opener(opener)

    response = urllib.request.urlopen(req)
    html = response.read()

    return html

def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('current-comment-page') + 23
    b = html.find(']', a)
    # print(html[a:b])
    print(url)
    return html[a:b]

def find_imgs(url):
    html = url_open(url).decode('utf-8')
    img_addrs = [];
    a = html.find('img src=')
    while a != -1:
        b = html.find('.jpg', a, a+255)    
        if  b != -1:
            img_addrs.append('http:' + html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img src=', b)
    for each in img_addrs:
        print(each)
    return img_addrs

def save_imgs(folder, img_addrs):
    idx = 0
    for each in img_addrs:
        filename = each.split('/')[-1]
        idx += 1
        with open(filename, 'wb') as f:
            print('-------' + str(idx))
            img = url_open(each)
            f.write(img)

def download_mm(folder='HHAA', pages=10):
    if os.path.exists(folder):
        shutil.rmtree(folder) #如果存在這個文件夾,則刪除文件夾 并 刪除里面的文件
    os.mkdir(folder) #創建一個文件夾
    os.chdir(folder)  #將工作目錄定位到當前的文件夾
    print(os.path)

    url = 'http://jandan.net/ooxx/'
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) + '#comments'
        print(page_url)
        img_addrs = find_imgs(page_url)
        save_imgs(folder, img_addrs)


if __name__ == '__main__':
    download_mm()

            
          

?


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 亚洲码欧美码一区二区三区 | 欧美高清不卡午夜精品免费视频 | 成人午夜久久 | 大逼逼影院 | 久久亚洲精品中文字幕二区 | 欧美精品九九99久久在观看 | 极品白嫩无套视频在线播放张悠雨 | 午夜视频高清在线aaa | 亚洲综合色在线 | 久久秋霞理论电影 | 亚洲高清免费视频 | 99r精品在线| 日韩在线小视频 | 久操视屏 | 日日操夜夜摸 | free-porn-ok| 国产在线第一区 | 欧美18videos极品 | 日韩av中文在线 | 色综合久久天天综合网 | 天天碰夜夜操 | 色婷婷综合久久久久中文一区二区 | 激情综合激情五月 | 爱爱视频在线观看 | 国产精品国产三级国产aⅴ原创 | 日韩专区中文字幕 | 一级a毛片免费观看久久精品 | 泰国一级毛片aaa下面毛多 | 在线高清中文字幕 | 色呦呦免费观看 | 午夜色a大片在线观看免费 龙珠z在线观看 | 日韩精品视频免费 | 亚洲一本 | 国产日韩中文字幕 | 久久天天躁夜夜躁狠狠 | 日韩一区精品视频 | A片人人澡C片人人大片 | 成人在线播放网站 | 色噜噜狠狠色综合欧洲 | 一区在线视频 | 91精品国产乱码久久久久久久久 |