這是作者的系列網絡安全自學教程，主要是關于網安工具和實踐操作的在線筆記，特分享出來與博友共勉，希望您們喜歡，一起進步。上一篇文章分享了OllyDbg動態分析工具的基礎用法，并簡單講解兩個Crakeme逆向工程破解實戰方法；本篇文章將介紹Chrome瀏覽器的Network功能，并解析下載快手視頻，同時分享了一個Python解析Network鏈接的難題。希望對初學者有幫助，大神請飄過，謝謝各位看官！
下載地址：https://github.com/eastmountyxz/NetworkSecuritySelf-study
PS：作為初學者，深知網絡安全這塊要學習的知識太多，希望自己能始終保持滿腔熱情，科研結合實踐慢慢前行。
文章目錄
- 一.快手視頻網站解析
- 二.Chrome瀏覽器Network分析
- 三.Python下載視頻
- 四.Python自動化抓取視頻討論
- 五.總結
前文學習：
[網絡安全自學篇] 一.入門筆記之看雪Web安全學習及異或解密示例
[網絡安全自學篇] 二.Chrome瀏覽器保留密碼功能滲透解析及登錄加密入門筆記
[網絡安全自學篇] 三.Burp Suite工具安裝配置、Proxy基礎用法及暴庫示例
[網絡安全自學篇] 四.實驗吧CTF實戰之WEB滲透和隱寫術解密
[網絡安全自學篇] 五.IDA Pro反匯編工具初識及逆向工程解密實戰
[網絡安全自學篇] 六.OllyDbg動態分析工具基礎用法及Crakeme逆向破解
前文欣賞：
[滲透&攻防] 一.從數據庫原理學習網絡攻防及防止SQL注入
[滲透&攻防] 二.SQL MAP工具從零解讀數據庫及基礎用法
[滲透&攻防] 三.數據庫之差異備份及Caidao利器
[滲透&攻防] 四.詳解MySQL數據庫攻防及Fiddler神器分析數據包
一.快手視頻網站解析
雖然作者不玩快手和抖音，但作為網安方向的新人，總想把這些視頻下載到本地。本篇文章主要利用Chrome瀏覽器和Python簡單分析快手視頻如何下載到本地。
第一步：
將需要下載的視頻分享到QQ，將得到如下鏈接，通過瀏覽器打開如下圖所示。
首頁推薦的某主播視頻：http://zhaotong.m.chenzhongtech.com/s/yQ0cCf77
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第1張圖片](https://img.it610.com/image/info8/109d9c539ab940038376c7a36e9741d5.jpg)
第二步： 它會重定向跳轉到一個新的網址，該網址才是我們需要分析的目標頁面，比如下面的三個視頻鏈接。
我們可以猜測出網址基本的構成為：
https://live.kuaishou.com/u + 用戶ID + 視頻ID + ?did= + 一串密鑰
https://live.kuaishou.com/u/3xhese5im6yksx6/3xa7v5aze84kirg?did=web_3e7228e2fb25419eae1bc7a0eb29bbde
https://live.kuaishou.com/u/3xhese5im6yksx6/3xg6v9usfdnkuf9?did=web_3e7228e2fb25419eae1bc7a0eb29bbde
https://live.kuaishou.com/u/3xhese5im6yksx6/3xvgazhxasseuye?did=web_3e7228e2fb25419eae1bc7a0eb29bbde
注意，如果我們省略后面的did值，它會自動補充該值并正確訪問的，如：
https://live.kuaishou.com/u/3xhese5im6yksx6/3xa7v5aze84kirg
第三步： 下面是視頻hot頁面，通過Chrome瀏覽器打開，并按下F12（或右鍵“檢查”）可以查看源代碼。在Network頁面下，點擊XHR，再刷新一次頁面，點擊“graphql”可以看到Json數據，這次終于確定我們之前的猜想，鏈接有“主播ID”（id）和“視頻ID”（photoId）組成。
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第2張圖片](https://img.it610.com/image/info8/e6e19791da1440698e2e2f2b6c185416.jpg)
其中某個視頻信息如下：
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第3張圖片](https://img.it610.com/image/info8/24aebac918224e97a6906c03945b3409.jpg)
第四步：
我們嘗試拼接下鏈接，確實能夠正確訪問，如下圖所示。接著我們將簡單分析如何下載視頻至本地。
id: 3xwuykzsrqyynv6
photoId: 3x69gvye5gjh7se
https://live.kuaishou.com/u/3xwuykzsrqyynv6/3x69gvye5gjh7se
二.Chrome瀏覽器Network分析
第一步： 還是以這個視頻為例，我們按下F12鍵（或右鍵“檢查”），刷新頁面，點擊Network。
首頁推薦的某主播視頻：https://live.kuaishou.com/u/3xhese5im6yksx6/3xa7v5aze84kirg
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第4張圖片](https://img.it610.com/image/info8/761fef6d61df48dab9169825cc117546.jpg)
第二步： 在“ALL”中找到有一個“mp4”結尾的文件，即為要下載的視頻文件，點擊“Headers”查看對應視頻地址。注意，視頻執行過程中，盡量點擊下暫停，否則會跳轉到下一個視頻。
Request URL: https://jsmov2.a.yximgs.com/bs2/newWatermark/NjUzODIwODM5OA_zh_4.mp4
Request Method: GET
Status Code: 206 Partial Content
Remote Address: 61.240.28.1:443
Referrer Policy: unsafe-url
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第5張圖片](https://img.it610.com/image/info8/a06d40e9ba2146a1bda063d21d4a04d8.jpg)
第三步： 打開迅雷，將復制的視頻網址添加到“新建下載任務”中，下載該視頻。
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第6張圖片](https://img.it610.com/image/info8/8a089f73b0a14abea778bdd6585a67ae.jpg)
第四步： 視頻成功下載至本地，打開即可。
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第7張圖片](https://img.it610.com/image/info8/7d0294415177457cada3dbb9f7248301.jpg)
你可能會想：
能不能直接分析HTML源代碼，從中定位視頻的鏈接。不行了，視頻是動態加載的，我能想到的方法是通過Python獲取Network中的所有資源，再定位“mp4”對應的超鏈接，但最終還是沒解決，后續部分將詳細探討。
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第8張圖片](https://img.it610.com/image/info8/77ec8599d0db4437845285834032a5b5.jpg)
三.Python下載視頻
Tqdm是Python進度條庫，可以在Python長循環中添加一個進度提示信息用法：tqdm(iterator)。
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第9張圖片](https://img.it610.com/image/info8/e886eb431a124063baf64ab101c73233.jpg)
示例代碼：
# -*- coding: utf-8 -*-
import
time
from
tqdm
import
tqdm
for
i
in
tqdm
(
range
(
100
)
)
:
time
.
sleep
(
0.01
)
#設置描述
pbar
=
tqdm
(
[
"a"
,
"b"
,
"c"
,
"d"
]
)
for
char
in
pbar
:
# 設置描述
pbar
.
set_description
(
"Processing %s"
%
char
)
time
.
sleep
(
1
)
輸出結果如下圖所示：
0
%
|
|
0
/
4
[
00
:
00
<
?
,
?it
/
s
]
Processing a
:
25
%
|
██▌
|
1
/
4
[
00
:
01
<
00
:
03
,
1.
00it
/
s
]
Processing b
:
50
%
|
█████
|
2
/
4
[
00
:
02
<
00
:
02
,
1.
00it
/
s
]
Processing c
:
75
%
|
███████▌
|
3
/
4
[
00
:
03
<
00
:
01
,
1.
00it
/
s
]
Processing d
:
100
%
|
██████████
|
4
/
4
[
00
:
04
<
00
:
00
,
1.
00it
/
s
]
下面講述一段代碼，將視頻下載至本地。
# coding=utf-8
import
json
import
requests
import
tqdm
#定義函數下載視頻
def
saveMp4
(
url
,
filename
)
:
res
=
requests
.
get
(
url
,
stream
=
True
)
file_size
=
int
(
res
.
headers
[
'Content-Length'
]
)
num
=
1
num_size
=
1024
num_bars
=
int
(
file_size
/
num_size
)
with
open
(
filename
,
'wb'
)
as
fp
:
for
num
in
tqdm
.
tqdm
(
res
.
iter_content
(
chunk_size
=
num_size
)
,
total
=
num_bars
,
unit
=
'KB'
,
desc
=
filename
,
leave
=
True
)
:
fp
.
write
(
num
)
#調用函數
url
=
"https://jsmov2.a.yximgs.com/bs2/newWatermark/MTQ5Mzk2MzMwMDg_zh_4.mp4"
filename
=
"test.mp4"
saveMp4
(
url
,
filename
)
如下圖所示：
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第10張圖片](https://img.it610.com/image/info8/bbeab1b9c17b452090b52203dc4a0de9.jpg)
如果讀者想下載快手某位主播的所有視頻，則可以點擊它的個人主頁，如下圖所示。
主播的主頁：https://live.kuaishou.com/profile/Flulu727
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第11張圖片](https://img.it610.com/image/info8/ebcaf7c975ad46d890701b2cfc1c7508.jpg)
寫到這里，你可能會想能不能寫個爬蟲將所有網頁鏈接中“mp4”對應的地址抓取下來，再進行統一爬取。下面我們來簡單進行分析，但最終結果失敗了！
四.Python自動化抓取視頻討論
網絡查找很多獲取Network中所有網絡請求URL、獲取XHR的response結果，均沒有一個有效的答案，包括github的代碼。比如：
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第12張圖片](https://img.it610.com/image/info8/35239310998d451dbc078766806190d1.jpg)
下面進行一些探討，我首先想到的方法包括兩個基本操作，即：
1.設置消息頭headers和請求的參數data，調用requests()函數請求連接，注意該視頻是GET方法。
Request URL: https://txmov2.a.yximgs.com/bs2/newWatermark/NjUzODIwODM5OA_zh_4.mp4
Request Method: GET
Status Code: 206 Partial Content
Remote Address: 116.207.112.100:443
Referrer Policy: unsafe-url
2.返回的數據調用json.load()函數進行解析，并且獲取指定的字段。
# -*- coding: utf-8 -*-
import
json
data
=
{
'id'
:
1
,
'name'
:
'test1'
,
'age'
:
'1'
}
data2
=
[
{
'id'
:
1
,
'name'
:
'test1'
,
'age'
:
'1'
}
,
{
'id'
:
2
,
'name'
:
'test2'
,
'age'
:
'2'
}
]
#python字典類型轉換為json對象
json_str
=
json
.
dumps
(
data
)
print
(
u
"python原始數據："
)
print
(
repr
(
data
)
)
print
(
u
"json對象："
)
print
(
json_str
)
print
(
""
)
json_str2
=
json
.
dumps
(
data2
)
print
(
u
"python原始數據："
)
print
(
repr
(
data2
)
)
print
(
u
"json對象："
)
print
(
json_str2
)
print
(
""
)
# 將json對象轉換為python字典
data3
=
json
.
loads
(
json_str
)
print
(
data3
)
print
(
"data3['name']: "
,
data3
[
'name'
]
)
print
(
"data3['age']: "
,
data3
[
'age'
]
)
輸出結果如下圖所示：
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第13張圖片](https://img.it610.com/image/info8/75f7ae088f4d4beb8734d03a02f089d4.jpg)
下面開始簡單的嘗試：
第一步：調用requests獲取數據
# coding=utf-8
import
json
import
requests
from
pyquery
import
PyQuery
as
pq
#設置請求
ID
=
"3xrptqgjk98rism"
photoID
=
"3xw28sc864d8p2e"
URL
=
'https://live.kuaishou.com/u/'
+
ID
+
'/'
+
photoID
print
URL
headers
=
{
'user-agent'
:
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'
}
#獲取某個ID用戶的作品photoID
res
=
requests
.
get
(
URL
,
headers
=
headers
)
print
len
(
res
.
text
)
#PyQuery解析
html
=
pq
(
res
.
text
)
print
html
輸出結果中最重要的是最后一個script代碼。
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第14張圖片](https://img.it610.com/image/info8/e4cf73ccd6894f458fd8e80c5ea1e369.jpg)
這里包含了視頻URL代碼。
![[網絡安全自學篇] 七.快手視頻下載之Chrome瀏覽器Network分析及Python爬蟲探討_第15張圖片](https://img.it610.com/image/info8/495146994aa94173812315213d7d35e8.jpg)
第二步：嘗試用下面的代碼解析Json數據并定位鏈接。
key
=
'$ROOT_QUERY.publicFeeds({"count":24,"pcursor":"","principalId":"%s"})'
%
ID
print
key
data
=
json
.
loads
(
html
)
print
data
#獲取連接及命名
play
=
data
[
'data'
]
[
key
]
url
=
play
[
'playUrl'
]
vedio
=
play
[
'caption'
]
+
'.mp4'
但最重要的一步是如何定位Json位置并解析。
五.總結
推薦讀者閱讀大神的文章，后續將學習Fiddler進行手機抓包以及代理設置。
(強推)用Python寫了個下載快手視頻的小腳本 - DIY
(強推)python爬蟲從入門到放棄（九）之 實例爬取上海高級人民法院網開庭公告數據 -zhaof - 動態爬蟲
python爬取快手視頻–json數據分析 - Dream____Fly
python爬取快手視頻 多線程下載 - foddler配置
Python 下載網絡mp4視頻資源 - dcb3688 - PyQuery獲取Json參數
Python爬蟲技巧-西瓜視頻MP4地址獲取 - 我愛學python - base64decode解密
[python] Python2.7爬蟲+Fiddler 爬取快手APP的短視頻 - 哈士奇的布偶 - APP代理
Chrome + Python 抓取動態網頁內容 - 吹劍錄
淺談如何使用python抓取網頁中的動態數據 - saintlabs
Github：
https://github.com/binglansky/spider/blob/master/kuaishou.py
https://github.com/muyangren907/Kwai_download_script
https://github.com/d1y/lovepack/blob/master/kuaishou.py
珞珞如石，溫而若珈；瀟灑坦蕩，一生澄澈。新學期，新生活，新里程。
一個多月的閉關，深深體會到數學和英語的重要性，短板抓緊補起來，長板卻沒有。開學八門課，《信息論》《現代密碼學》《網絡安全協議》《信息安全前沿》《信息安全與可信計算》《自然語言處理》等，就NLP熟悉點，得加油了，更要靜下心來去“做”、“學”、“問”。Stay hungry，Stay foolish~希望與您一起進步
(By:Eastmount 2019-09-05 下午1點 http://blog.csdn.net/eastmount/ )
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
