欧美三区_成人在线免费观看视频_欧美极品少妇xxxxⅹ免费视频_a级毛片免费播放_鲁一鲁中文字幕久久_亚洲一级特黄

利用Python爬取可用的代理IP

系統 1762 0

前言

就以最近發現的一個免費代理IP網站為例:http://www.xicidaili.com/nn/。在使用的時候發現很多IP都用不了。

所以用Python寫了個腳本,該腳本可以把能用的代理IP檢測出來。

腳本如下:

            
#encoding=utf8
import urllib2
from bs4 import BeautifulSoup
import urllib
import socket
 
User_Agent = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'
header = {}
header['User-Agent'] = User_Agent
 
'''
獲取所有代理IP地址
'''
def getProxyIp():
 proxy = []
 for i in range(1,2):
  try:
   url = 'http://www.xicidaili.com/nn/'+str(i)
   req = urllib2.Request(url,headers=header)
   res = urllib2.urlopen(req).read()
   soup = BeautifulSoup(res)
   ips = soup.findAll('tr')
   for x in range(1,len(ips)):
    ip = ips[x]
    tds = ip.findAll("td")
    ip_temp = tds[1].contents[0]+"\t"+tds[2].contents[0]
    proxy.append(ip_temp)
  except:
   continue
 return proxy
  
'''
驗證獲得的代理IP地址是否可用
'''
def validateIp(proxy):
 url = "http://ip.chinaz.com/getip.aspx"
 f = open("E:\ip.txt","w")
 socket.setdefaulttimeout(3)
 for i in range(0,len(proxy)):
  try:
   ip = proxy[i].strip().split("\t")
   proxy_host = "http://"+ip[0]+":"+ip[1]
   proxy_temp = {"http":proxy_host}
   res = urllib.urlopen(url,proxies=proxy_temp).read()
   f.write(proxy[i]+'\n')
   print proxy[i]
  except Exception,e:
   continue
 f.close()
 
    
if __name__ == '__main__':
 proxy = getProxyIp()
 validateIp(proxy)
          

?運行成功后,打開E盤下的文件,可以看到如下可用的代理IP地址和端口:

利用Python爬取可用的代理IP_第1張圖片

總結

這只是爬取的第一頁的IP地址,如有需要,可以多爬取幾頁。同時,該網站是時時更新的,建議爬取時只爬取前幾頁的即可。以上就是本文的全部內容,希望對大家學習使用Python能有所幫助。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 精品国内在线视频2019百度 | 青草青草久热精品视频在线网站 | 在线观看特色大片免费网站 | 亚洲美女综合 | 先锋影音av最新资源 | 日本在线视频观看 | 国产亚洲欧洲国产综合一区 | 国产精品成人一区二区三区 | 日韩欧美一区二区三区不卡 | 色综合久久手机在线 | 97超级碰碰碰视频在线视频观看 | 久久精品re | 国产特级毛片AAAAAAA高清 | 欧美精品片 | aaa在线| 美女国内精品自产拍在线播放 | 国精品一区 | 成人午夜影院 | 精品一区二区三区四区 | 亚洲精品在线看 | a久久| 亚洲毛片 | 精品免费国产一区二区三区 | 久久久精品免费热线观看 | 国产乱码精品一区二区三区中文 | 一级毛片视频免费 | 91精品国产乱码久久久久久久久 | 久久久久久久久久爱 | 久热久操| 成年人黄网站 | 99热久久这里只有精品2010 | 黄色资源在线观看 | 少妇特黄A片一区二区三区免费看 | 久久久成| 一区二区成人国产精品 | 国产精品一二区 | 一区二区三区四区在线 | www欧美| 一区二区三区亚洲 | 日本特黄特色大片免费视频 | 丝袜美腿一区二区三区动态图 |