前言
最近在學習python 爬蟲方面的知識，網上有一博客專欄專門寫爬蟲方面的，看到用urllib請求有道翻譯接口獲取翻譯結果。發現接口變化很大，用md5加了密，于是自己開始破解。加上網上的其他文章找源碼方式并不是通用的，所有重新寫一篇記錄下。
爬取條件
要實現爬取的目標，首先要知道它的地址，請求參數，請求頭，響應結果。
進行抓包分析
打開有道翻譯的鏈接：http://fanyi.youdao.com/。然后在按f12 點擊Network項。這時候就來到了網絡監聽窗口，在這個頁面中發送的所有網絡請求，都會在Network這個地方顯示出來，如果是空白的，點擊XHR。接著我們在翻譯的窗口輸入我們需要翻譯的文字，比如輸入hell。然后點擊自動翻譯按鈕，那么接下來在下面就可以看到瀏覽器給有道發送的請求，這里截個圖看看：
點擊鏈接，就可以看到整個請求的信息。包括請求頭，請求參數，響應結果。
這里面有一個問題就是參數進行了加密。我們需要知道這些參數是如何加密的。
破解加密難題
要想知道如何加密的，需要查看源碼。于是我們需要知道發起這個請求的js文件。在文件查找這個相關代碼。剛才我們監聽了網絡請求，可以看到發起請求的js文件。那么接下來查找發起請求的鏈路，鼠標浮到請求文件上，顯示了一系列執行方法，我們點擊跟業務相關的那個方法對應的文件鏈接，這里是t.translate 對應的連接。
點擊進入查看對應的源碼
我們可以看到i,salt,sign是變量，其他的請求參數是常量。i是需要翻譯的字符串，salt是時間戳生成的13位，sign是S+n+r+D
也就S是client的值，也就是fanyideskweb. 我們查找D 這個常量，在底欄輸入框輸入 D = （空格D空格=空格；格式化后的代碼規范）點擊右邊的Aa讓搜索時大小寫敏感。回車查找到下一個，直到找到對應的值。
在上圖我們看到了_,C，S,D等常量。
于是你以為構建一個請求，傳好這些參數就ok了。別忘了，為了反爬蟲，都是會校驗請求頭。于是要模擬瀏覽器的請求頭。經過驗證只需要User-Agent，Referer，Cookie 三個請求頭。
實現代碼：
# -*- coding: utf-8 -*-
from urllib import request,parse
import json
import time
from hashlib import md5
'''
def dicToSortedStrParam(dic={}):
keyList = sorted(dic)
str =""
for i,key in enumerate(keyList):
if i==len(keyList)-1:
str += key +"="+ dic[key]
else:
str += key +"="+ dic[key] + "&"
pass
return str
'''
def create_md5(data):
md5_obj = md5()
md5_obj.update(data.encode("utf-8"))
return md5_obj.hexdigest()
if __name__ == "__main__":
request_url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
translate = "hell"
c = "fanyideskweb"
data = {}
data["i"] = translate
data["from"] = "AUTO"
data["to"] = "AUTO"
data["smartresult"] = "dict"
data["client"] = c
data["doctype"] = "json"
data["version"] = "2.1"
data["keyfrom"] = "fanyi.web"
data["action"] = "FY_BY_REALTIME"
data["typoResult"] = "false"
salt = str(int(round(time.time(),3)*1000))
# 加密
data["salt"] = salt
# a = "rY0D^0'nM0}g5Mm1z%1G4" 網上別人的 也可以
a = "ebSeFb%=XZ%T[KZ)c(sy!"
sign = create_md5(c+translate+salt+a)
data["sign"] = sign
headers = {}
headers["User-Agent"] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
# headers["Content-Type"] = "application/x-www-form-urlencoded; charset=UTF-8"
headers["Referer"] = "http://fanyi.youdao.com/"
# headers["Host"] = "fanyi.youdao.com"
# headers["Origin"]="http://fanyi.youdao.com"
headers["Cookie"]="OUTFOX_SEARCH_USER_ID=-948455480@10.169.0.83; " \
"JSESSIONID=aaajvZPcjhFWbgtIBPuiw; " \
"OUTFOX_SEARCH_USER_ID_NCOO=1148682548.6241577;" \
" fanyi-ad-id=41685; fanyi-ad-closed=1; ___rl__test__cookies="+salt
data = parse.urlencode(data).encode('utf-8')
request1 = request.Request(request_url,data,headers = headers)
response = request.urlopen(request1)
print(response.info())
#讀取信息并解碼
html = response.read().decode('utf-8')
print(html)
#使用JSON
translate_results = json.loads(html)
# 找到翻譯結果
translate_results = translate_results['translateResult'][0][0]['tgt']
# 打印翻譯信息
print("翻譯的結果是：%s" % translate_results)
翻譯結果：
{"translateResult":[[{"tgt":"地獄","src":"hell"}]],"errorCode":0,"type":"en2zh-CHS","smartResult":{"entries":["","n. 地獄；究竟（作加強語氣詞）；訓斥；黑暗勢力\r\n","vi. 過放蕩生活；飛馳\r\n","int. 該死；見鬼（表示驚奇、煩惱、厭惡、惱怒、失望等）\r\n"],"type":1}}
翻譯的結果是：地獄
翻譯的結果是：地獄
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
