??????由于眾所周知的原因, 邪惡的企業優酷于九月的某一天開始禁止第三方播放器加載視頻API, 我不得不設置一個反向代理來繞過Flash 的跨域限制. 自此服務器壓力激增, 導致用戶體驗大為劣化. 為了減少服務器壓力我費盡心思, 從原先的Apache2 + php 切換到nginx + php-fpm, 再到現在的nginx + nodejs, 充分利用了服務器有限的內存空間, 使并發性能得以不斷優化, 每次播放的請求時間由原來的10s 縮短到 1~4s.
但這也到頭了, 非緩存型反向代理受限于網絡連接速率, 如果反向代理服務器與優酷服務器之間的傳輸速率不能有所突破, 很難把請求時間繼續縮短. 如果要追求更高的性能, 把請求時間縮短到1s 以內, 必須在反向代理服務器上部署緩存數據庫.
反向代理服務器的工作原理
?
于是我開始尋找一個適合做緩存的數據庫, 根據服務器資源和應用場景, 對緩存數據庫提出如下需求:
- NoSQL;
- 較高的讀寫速率;
- 過期機制;
- 能在512MB 內存的VPS 上工作.
根據這些需求, 我最后選擇了MongoDB.
安裝好MongoDB 后, 建立一個存放緩存的collection, 大小為150MB, TTL 為1 小時:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
|
db.createCollection(
'youkuApiCache'
,{size:150*1024*1024})
//緩存大小150MB
db.youkuApiCache.ensureIndex({
????????
retrievedAt:1
????
}, {
????????
expireAfterSeconds: 60*60
????
})
//retrievedAt 字段存放更新時間, 每條記錄緩存1 小時
db.youkuApiCache.getIndexes()
//看一下建好的索引
[
????????
{
????????????????
"v"
: 1,
????????????????
"key"
: {
????????????????????????
"_id"
: 1
????????????????
},
????????????????
"ns"
:
"test.youkuApiCache"
,
????????????????
"name"
:
"_id_"
????????
},
????????
{
????????????????
"v"
: 1,
????????????????
"key"
: {
????????????????????????
"retrievedAt"
: 1
????????????????
},
????????????????
"ns"
:
"test.youkuApiCache"
,
????????????????
"name"
:
"retrievedAt_1"
,
????????????????
"expireAfterSeconds"
: 3600
????????
}
]
db.youkuApiCache.insert({
????????
_id:
'test'
,
????????
retrievedAt:
new
Date()
????
})
//插入一條記錄, 更新時間為當前時間
db.youkuApiCache.count()
//現在youkuApiCache 中有1 條記錄
1
db.youkuApiCache.count()
//一小時后youkuApiCache 中有0 條記錄
0
|
然后對反向代理的代碼稍作改動, 就完成了緩存部署.
到現在為止, youkuApiCache 緩存了15,000 多條記錄, 用掉100MB 空間, 性能得到了很大提高.
|
1
2
3
4
5
6
7
8
9
10
11
12
|
time
wget "http:
//v
.opengg.me
/player/getPlayList/VideoIDS/XMTIwNDk2MTA0
/timezone/
+08
/version/5/source/video
&password=" -O
/dev/null
-q
//
第一次請求(Uncached request)
real??? 0m0.374s
user??? 0m0.000s
sys???? 0m0.004s
time
wget "http:
//v
.opengg.me
/player/getPlayList/VideoIDS/XMTIwNDk2MTA0
/timezone/
+08
/version/5/source/video
&password=" -O
/dev/null
-q
//
第二次請求(Cached request)
real??? 0m0.007s
user??? 0m0.004s
sys???? 0m0.000s
|
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
