import requests
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
res=requests.get('http://sh.58.com/zufang/',headers=header)
try:
  print(res.text);
except ConnectionError:
  print('訪問被拒絕！！！')
          

            
#headers的一些屬性：
#Accept:指定客戶端能夠接收的內(nèi)容類型，內(nèi)容類型的先后次序表示客戶都接收的先后次序
#Accept-Lanuage:指定HTTP客戶端瀏覽器用來展示返回信息優(yōu)先選擇的語言
#Accept-Encoding指定客戶端瀏覽器可以支持的web服務(wù)器返回內(nèi)容壓縮編碼類型。表示允許服務(wù)器在將輸出內(nèi)容發(fā)送到客戶端以前進(jìn)行壓縮，以節(jié)約帶寬。而這里設(shè)置的就是客戶端瀏覽器所能夠支持的返回壓縮格式。
#Accept-Charset:HTTP客戶端瀏覽器可以接受的字符編碼集
# User-Agent : 有些服務(wù)器或 Proxy 會通過該值來判斷是否是瀏覽器發(fā)出的請求
# Content-Type : 在使用 REST 接口時，服務(wù)器會檢查該值，用來確定 HTTP Body 中的內(nèi)容該怎樣解析。
# application/xml ： 在 XML RPC，如 RESTful/SOAP 調(diào)用時使用
# application/json ： 在 JSON RPC 調(diào)用時使用
# application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時使用
# 在使用服務(wù)器提供的 RESTful 或 SOAP 服務(wù)時， Content-Type 設(shè)置錯誤會導(dǎo)致服務(wù)器拒絕服務(wù)
          

            
# 選擇所有div標(biāo)簽
soup.select("div")
# 選擇所有p標(biāo)簽中的第三個標(biāo)簽
soup.select("p:nth-of-type(3)")
相當(dāng)于soup.select(p)[2]
# 選擇div標(biāo)簽下的所有img標(biāo)簽
soup.select("div img")
# 選擇div標(biāo)簽下的直接a子標(biāo)簽
soup.select("div > a")
# 選擇id=link1后的所有兄弟節(jié)點標(biāo)簽
soup.select("#link1 ~ .mybro")
# 選擇id=link1后的下一個兄弟節(jié)點標(biāo)簽
soup.select("#link1 + .mybro")
# 選擇a標(biāo)簽，其類屬性為className的標(biāo)簽
soup.select("a .className")
# 選擇a標(biāo)簽，其id屬性為idName的標(biāo)簽
soup.select("a #idName")
# 選擇a標(biāo)簽，其屬性中存在attrName的所有標(biāo)簽
soup.select("a[attrName]")
# 選擇a標(biāo)簽，其屬性href=http://wangyanling.com的所有標(biāo)簽
soup.select("a[)
# 選擇a標(biāo)簽，其href屬性以http開頭
soup.select('a[href^="http"]')
# 選擇a標(biāo)簽，其href屬性以lacie結(jié)尾
soup.select('a[href$="lacie"]')
# 選擇a標(biāo)簽，其href屬性包含.com
soup.select('a[href*=".com"]')
# 從html中排除某標(biāo)簽，此時soup中不再有script標(biāo)簽
[s.extract() for s in soup('script')]
# 如果想排除多個呢
[s.extract() for s in soup(['script','fram']
          

            
import requests
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
res=requests.get('http://cd.58.com/zufang/',headers=header)
soup=BeautifulSoup(res.text,'html.parser')
print(soup.prettify())
          

            
import requests
import urllib.request
import os
import time
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}
url=['http://sh.58.com/zufang/pn{}/?ClickID=2'.format(number) for number in range(6,51)]#分頁抓取
adminCout=6
for arurl in url:
  adminCout=adminCout+1
  res=requests.get(arurl,headers=header)
  soup=BeautifulSoup(res.text,'html.parser')
  arryImg=soup.select('.img_list img')
  print(arryImg)
  count = 0;
  for img in arryImg:
    print(img['lazy_src'])
    _url = img['lazy_src']
    pathName = "E:\\2333\\" + str(adminCout)+"_"+str(count) + ".jpg" # 設(shè)置路徑和文件名
    result = urllib.request.urlopen(_url) # 打開鏈接，和python2.x不同請注意了
    data = result.read() # 否則開始下載到本地
    with open(pathName, "wb") as code:
      code.write(data)
      code.close()
      count = count + 1 # 計數(shù)+1
      print("正在下載第：", count)
    time.sleep(30)