前言

網絡爬蟲也稱為網絡蜘蛛、網絡機器人，抓取網絡的數據。其實就是用Python程序模仿人點擊瀏覽器并訪問網站，而且模仿的越逼真越好。一般爬取數據的目的主要是用來做數據分析，或者公司項目做數據測試，公司業務所需數據。

而數據來源可以來自于公司內部數據，第三方平臺購買的數據，還可以通過網絡爬蟲爬取數據。python在網絡爬蟲方向上有著成熟的請求、解析模塊，以及強大的Scrapy網絡爬蟲框架。

爬蟲分類

1、通用網絡爬蟲：搜索引擎使用，遵守robots協議（君子協議）

robots協議 ：網站通過robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。https://www.taobao.com/robots.txt

2、聚焦網絡爬蟲 ：自己寫的爬蟲程序

爬蟲爬取數據步驟

• 確定需要爬取的URL地址
• 由請求模塊向URL地址發出請求，并得到網站的響應
• 從響應內容中提取所需數據
  • 所需數據，保存
  • 頁面中有其他需要繼續跟進的URL地址，繼續第2步去發請求，如此循環

請求模塊

from urllib import request

request.urlopen()　　向網站發起請求并獲取響應對象

參數：

URL：需要爬取的URL地址

timeout: 設置等待超時時間，指定時間內未得到響應拋出超時異常

響應對象（response）方法

• string = response.read().decode('utf-8') 獲取響應對象內容(網頁源代碼)，返回內容為字節串bytes類型，順便需要decode轉換成string。
• url = response.geturl() 返回實際數據的URL地址
• code = response.getcode() 返回HTTP響應碼

            
from urllib import request
url = 'http://www.baidu.com/'

# 向百度發請求,得到響應對象
response = request.urlopen(url)

# 返回網頁源代碼
print(response.read().decode('utf-8'))

# 返回http響應碼
print(response.getcode())    # 200
# 返回實際數據URL地址
print(response.geturl())    # http://www.baidu.com/
          

urllib.request.Request()　　創建請求對象(包裝請求，重構User-Agent，使程序更像正常人類請求)

參數

URL：請求的URL地址

headers：添加請求頭（爬蟲和反爬蟲斗爭的第一步）

使用流程

1、創建請求對象(重構User-Agent)

req = urllib.request.Request(url=url,headers={'User-Agent':'Mozilla/5.0 xxxx'})

2、請求對象發起請求，獲取響應對象(urlopen)

res = urllib.request.urlopen(req)

3、通過相應對象獲取響應內容

html = res.read().decode('utf-8')

            
from urllib import request
url = 'http://httpbin.org/get'
headers = {'User-Agent':'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'}
# 創建請求對象(包裝請求)
req = request.Request(url=url,headers=headers)
# 發請求,獲取響應對象
res = request.urlopen(req)
# 讀取內容,返回網頁代碼
html = res.read().decode('utf-8')
print(html)
          

URL地址編碼

urllib.parse.urlencode({dict})

URL地址中一個查詢參數

查詢參數：{'wd' : '美女'}

urlencode編碼后：'wd=%e7%be%8e%e5%a5%b3'

            
from urllib import parse
url = 'http://www.baidu.com/s?'
query_string = parse.urlencode({'wd':'美女'})
print(query_string)     # wd=%E7%BE%8E%E5%A5%B3
url = url + query_string
# http://www.baidu.com/wd=%E7%BE%8E%E5%A5%B3
          

URL地址中多個查詢參數

            
from urllib import parse
query_string_dict = {'wd' : '美女',
          'pn' : '50'}
query_string = parse.urlencode(query_string_dict)
url = 'http://www.baidu.com/s?{}'.format(query_string)
print(url)
# http://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3&pn=50
          

拼接URL地址的3種方式

1、字符串相加

'https://www.baidu.com/s?' + urlencode({'wd':'美女','pn':'50'})

2、字符串格式化（占位符）

'https://www.baidu.com/s?%s' % urlencode({'wd':'美女','pn':'50'})

3、format()方法

'https://www.baidu.com/s?{}'.format(urlencode({'wd':'美女','pn':'50'}))

示例 在百度中輸入要搜索的內容，把響應內容保存到本地文件

            
from urllib import request
from urllib import parse

# 定義常用變量
word = input('請輸入搜索內容:')
url = 'http://www.baidu.com/s?'
headers = {'User-Agent':'Mozilla/5.0'}

# url編碼,拼接完整URL
query_string = parse.urlencode({'wd':word})
url = url + query_string

# 三步走
req = request.Request(url=url,headers=headers)
res = request.urlopen(req)
html = res.read().decode('utf-8')

filename = '{}.html'.format(word)
with open(filename,'w',encoding='utf-8') as f:
  f.write(html)
          

urllib.parse.quote(string)編碼

            
from urllib import parse
parse.quote('美女')    # %E7%BE%8E%E5%A5%B3
          

urllib.parse.unquote(string)解碼

            
from urllib import parse
result = parse.unquote('%E7%BE%8E%E5%A5%B3')
print(result)    # 美女
          

百度貼吧網頁獲取

• 輸入貼吧名稱
• 輸入起始頁
• 輸入終止頁
• 保存到本地文件：第1頁.html、第2頁.html ...

實現步驟

1、找URL規律

1、不同吧

2、不同頁

第1頁:http://tieba.baidu.com/f?kw=????&pn=0

第2頁:http://tieba.baidu.com/f?kw=????&pn=50

第n頁:pn=(n-1)*50

2、獲取網頁內容

3、保存(本地文件、數據庫)

            
from urllib import request,parse
import time
import random

class BaiduSpider(object):
  def __init__(self):
    self.url = 'http://tieba.baidu.com/f?kw={}&pn={}'
    self.headers = {'User-Agent':'Mozilla/5.0'}

  # 獲取響應
  def get_page(self,url):
    req = request.Request(url=url,headers=self.headers)
    res = request.urlopen(req)
    html = res.read().decode('utf-8')
    return html

  # 保存數據
  def write_page(self,filename,html):
    with open(filename,'w') as f:
      f.write(html)

  # 主函數
  def main(self):
    name = input('請輸入貼吧名:')
    start = int(input('請輸入起始頁:'))
    end = int(input('請輸入終止頁:'))

    # 拼接URL地址,發請求
    for page in range(start,end+1):
      pn = (page-1)*50
      kw = parse.quote(name)     # url編碼
      url = self.url.format(kw,pn)
      html = self.get_page(url)    # 獲取響應,并保存
      filename = '{}-第{}頁.html'.format(name,page)
      self.write_page(filename,html)
      print('第{}頁爬取成功'.format(page)) # 提示進度
      time.sleep(random.randint(1,3))   # 控制爬取速度

if __name__ == '__main__':
  spider = BaiduSpider()
  spider.main()
          

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。