摘要：
實(shí)施nginx和keepalived的規(guī)劃、安裝、配置等步驟
前面的 《統(tǒng)一web訪問(wèn)層方案》 中就目的、目標(biāo)和整體方案進(jìn)行了討論，本文討論具體的實(shí)施。簡(jiǎn)單來(lái)說(shuō)就是在兩臺(tái)服務(wù)器上分別部署NginX，并通過(guò)keepalived實(shí)現(xiàn)高可用。
1 規(guī)劃和準(zhǔn)備
需要統(tǒng)一訪問(wèn)的應(yīng)用系統(tǒng)：
| 應(yīng)用系統(tǒng) | 域名/虛擬目錄 | 應(yīng)用服務(wù)器及URL |
|---|---|---|
| svn | dev.mycompany.com/svn | http://50.1.1.21/svn |
| svn web管理 | dev.mycompany.com/submin | http://50.1.1.21/submin |
| 網(wǎng)站 | www.mycompany.com | http://50.1.1.10; http://50.1.1.11; http://50.1.1.12 |
| OA | oa.mycompany.com | http://50.1.1.13:8080; http://50.1.1.14:8080 |
web訪問(wèn)服務(wù)器
用兩臺(tái)接入服務(wù)器50.1.1.3/4分別作為主、備(MASTER、BACKUP)服務(wù)器，使用RHEL5.6x64，配置了yum 私服。
兩臺(tái)接入服務(wù)器公用一個(gè)虛擬IP（VIP）：50.1.1.2
2 安裝
兩臺(tái)接入服務(wù)器分別安裝NginX和keepalived:
#準(zhǔn)備依賴包：
yum -y install gcc pcre-devel zlib-devel openssl-devel
#下載
wget http://nginx.org/download/nginx-1.2.4.tar.gz
wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz
#安裝NginX
tar zxvf nginx-1.2.4.tar.gz
cd
nginx-1.2.4
./configure
make
&&
make install
#安裝keepalived
tar zxvf keepalived-1.2.7.tar.gz
cd
keepalived-1.2.7
./configure
make
make install
cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
mkdir /etc/keepalived
cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/sbin/keepalived /usr/sbin/
#加入啟動(dòng)
echo
"/usr/local/nginx/sbin/nginx"
>> /etc/rc.local
echo
"/etc/init.d/keepalived start"
>> /etc/rc.local
3 配置
3.1 配置NginX
兩臺(tái)接入服務(wù)器的NginX的配置完全一樣,主要是配置/usr/local/nginx/conf/nginx.conf的http。其中多域名 指向是通過(guò)虛擬主機(jī)（配置http下面的server）實(shí)現(xiàn)；同一域名的不同虛擬目錄通過(guò)每個(gè)server下面的不同location實(shí)現(xiàn)；到后端的服務(wù) 器在http下面配置upstream,然后在server或location中通過(guò)proxypass引用。要實(shí)現(xiàn)前面規(guī)劃的接入方式，http的配置 如下：
http
{
include
mime
.
types
;
default_type
application
/
octet
-
stream
;
sendfile
on
;
upstream
dev
.
hysec
.
com
{
server
50.1.1.21
:
80
;
}
upstream
www
.
hysec
.
com
{
ip_hash
;
server
50.1.1.10
:
80
;
server
50.1.1.11
:
80
;
server
50.1.1.12
:
80
;
}
upstream
oa
.
hysec
.
com
{
ip_hash
;
server
50.1.1.13
:
8080
;
server
50.1.1.14
:
8080
;
server
{
listen
80
;
server_name
dev
.
hysec
.
com
;
location
/
svn
{
proxy_pass
http
:
//dev.hysec.com;
}
location
/
submin
{
proxy_pass
http
:
//dev.hysec.com;
}
}
server
{
listen
80
;
server_name
www
.
hysec
.
com
;
location
/
{
proxy_pass
http
:
//www.hysec.com;
}
server
{
listen
80
;
server_name
oa
.
hysec
.
com
;
location
/
{
proxy_pass
http
:
//oa.hysec.com;
}
}
驗(yàn)證方法：
首先用IP訪問(wèn)前表中各個(gè)應(yīng)用服務(wù)器的url，再用域名和路徑訪問(wèn)前表中各個(gè)應(yīng)用系統(tǒng)的域名/虛擬路徑
3.2 配置keepalived
按照上面的安裝方法，keepalived的配置文件在/etc/keepalived/keepalived.conf。主、從服務(wù)器的配置相關(guān)聯(lián)但有所不同。如下：
- Master配置
!
Configuration
File
for
keepalived
global_defs
{
notification_email
{
wanghaikuo
@
hysec
.
com
wanghaikuo
@
gmail
.
com
}
notification_email_from
wanghaikuo
@
hysec
.
com
smtp_server
smtp
.
hysec
.
com
smtp_connect_timeout
30
router_id
nginx_master
}
vrrp_instance
VI_1
{
state
MASTER
interface
eth0
virtual_router_id
51
priority
101
advert_int
1
authentication
{
auth_type
PASS
auth_pass
1111
}
virtual_ipaddress
{
50.1.1.2
}
}
- Backup配置
!
Configuration
File
for
keepalived
global_defs
{
notification_email
{
wanghaikuo
@
hysec
.
com
wanghaikuo
@
gmail
.
com
}
notification_email_from
wanghaikuo
@
hysec
.
com
smtp_server
smtp
.
hysec
.
com
smtp_connect_timeout
30
router_id
nginx_backup
}
vrrp_instance
VI_1
{
state
BACKUP
interface
eth0
virtual_router_id
51
priority
99
advert_int
1
authentication
{
auth_type
PASS
auth_pass
1111
}
virtual_ipaddress
{
50.1.1.2
}
}
驗(yàn)證：
-
先后在主、從服務(wù)器上啟動(dòng)keepalived:
/etc/init.d/keepalived start
-
在主服務(wù)器上查看是否已經(jīng)綁定了虛擬IP：
ip addr
-
停止主服務(wù)器上的keepalived:
/etc/init.d/keepalived stop
-
然后在從服務(wù)器上查看是否已經(jīng)綁定了虛擬IP
-
啟動(dòng)主服務(wù)器上的keepalived，看看主服務(wù)器能否重新接管虛擬IP
3.3 讓keepalived監(jiān)控NginX的狀態(tài)
經(jīng)過(guò)前面的配置，如果主服務(wù)器的keepalived停止服務(wù)，從服務(wù)器會(huì)自動(dòng)接管VIP對(duì)外服務(wù)；一旦主服務(wù)器的keepalived恢復(fù)，會(huì)重新接管VIP。 但這并不是我們需要的，我們需要的是當(dāng)NginX停止服務(wù)的時(shí)候能夠自動(dòng)切換。
keepalived支持配置監(jiān)控腳本，我們可以通過(guò)腳本監(jiān)控NginX的狀態(tài)，如果狀態(tài)不正常則進(jìn)行一系列的操作，最終仍不能恢復(fù)NginX則殺掉keepalived，使得從服務(wù)器能夠接管服務(wù)。
如何監(jiān)控NginX的狀態(tài) 最簡(jiǎn)單的做法是監(jiān)控NginX進(jìn)程，更靠譜的做法是檢查NginX端口，最靠譜的做法是檢查多個(gè)url能否獲取到頁(yè)面。
如何嘗試恢復(fù)服務(wù) 如果發(fā)現(xiàn)NginX不正常，重啟之。等待3秒再次校驗(yàn)，仍然失敗則不再嘗試。
根據(jù)上述策略很容易寫出監(jiān)控腳本。這里使用nmap檢查nginx端口來(lái)判斷nginx的狀態(tài)，記得要首先安裝nmap。監(jiān)控腳本如下:
#!/bin/sh
# check nginx server status
NGINX
=
/usr/local/nginx/sbin/nginx
PORT
=
80
nmap localhost -p
$PORT
|
grep
"$PORT/tcp open"
#echo $?
if
[
$?
-ne 0
]
;
then
$NGINX
-s stop
$NGINX
sleep 3
nmap localhost -p
$PORT
|
grep
"$PORT/tcp open"
[
$?
-ne 0
]
&&
/etc/init.d/keepalived stop
fi
不要忘了設(shè)置腳本的執(zhí)行權(quán)限，否則不起作用。
假設(shè)上述腳本放在/opt/chk_nginx.sh，則keepalived.conf中增加如下配置：
vrrp_script
chk_http_port
{
script
"/opt/chk_nginx.sh"
interval
2
weight
2
}
track_script
{
chk_http_port
}
更進(jìn)一步，為了避免啟動(dòng)keepalived之前沒(méi)有啟動(dòng)nginx , 可以在/etc/init.d/keepalived的start中首先啟動(dòng)nginx:
start
()
{
/
usr
/
local
/
nginx
/
sbin
/
nginx
sleep
3
echo
-
n
$
"Starting $prog: "
daemon
keepalived
$
{
KEEPALIVED_OPTIONS
}
RETVAL
=
$
?
echo
[
$
RETVAL
-
eq
0
]
&&
touch
/
var
/
lock
/
subsys
/
$
prog
}
4 還可以做什么
對(duì)于簡(jiǎn)單重復(fù)性勞動(dòng)，人總是容易犯錯(cuò)，這種事情最好交給機(jī)器去做。 比如，在這個(gè)案例中，作為統(tǒng)一接入服務(wù)器，可能經(jīng)常要修改nginx的配置、nginx下面的html文件等。而且，一定要保證集群中的每臺(tái)服務(wù)器的配置 相同。 最好的做法是由配置管理服務(wù)器來(lái)管理，如果沒(méi)有，也可以使用簡(jiǎn)單的linux文件同步來(lái)解決。
5 支持https
需要安裝openSSL：
yum install openssl-devel
在nginx/conf下生成秘鑰：
#生成RSA密鑰
openssl dsaparam -rand -genkey -out myRSA.key 1024
#生成CA密鑰：(要輸入一個(gè)自己記得的密碼)
openssl gendsa -des3 -out cert.key myRSA.key
#用這個(gè)CA密鑰來(lái)創(chuàng)建證書，需要上一步創(chuàng)建的密碼
openssl req -new -x509 -days 365 -key cert.key -out cert.pem
#把證書設(shè)置為root專用
chmod 700 cert.*
#生成免密碼文件
openssl rsa -in cert.key -out cert.key.unsecure
如果要啟用SSL，首先在安裝nginx是要增加配置參數(shù)：--with-http_ssl_module ， 然后在nginx中進(jìn)行如下配置：
#
這里是
SSL
的相關(guān)配置
server
{
listen
443
;
server_name
www
.
example
.
com
;
#
你自己的域名
root
/
home
/
www
;
ssl
on
;
ssl_certificate
cert
.
perm
;
#使用
.
unsecure
文件可以在
nginx
啟動(dòng)時(shí)不輸入密碼
ssl_certificate_key
cert
.
key
.
unsecure
;
location
/
{
#
...
}
}
公共證書的申請(qǐng)過(guò)程：
-
生成RSA(私鑰)文件：
openssl genrsa -des3 -out myRSA.key 2048 -
生成csr文件：
openssl req -new -key myRSA.key -out my.csr -
將csr提交給證書機(jī)構(gòu)，比如GlobalSign。
-
證書機(jī)構(gòu)會(huì)返回私有證書(crt)和中級(jí)證書（crt）
-
到機(jī)構(gòu)網(wǎng)站下載根證書（root_CA.cer), 將根證書拼接到私有證書之后
-
在nginx中配置證書：
ssl_certificate
/
etc
/
ssl
/
my
.
crt
;
ssl_certificate_key
/
etc
/
ssl
/
myRSA
.
key
;
ssl_client_certificate
/
etc
/
ssl
/
root_CA
.
cer
;
6 支持webservice
通過(guò)chunkin-nginx-module模塊支持webservice。
否則會(huì)報(bào)錯(cuò)：411：http 頭中缺少 Conten-Length 參數(shù)
步驟：
git clone https://github.com/agentzh/chunkin-nginx-module.git
#重新編譯nginx
cd
PATH/TO/NGINX/SOURCE
./configure xxx --add-module
=
/PATH/TO/chunkin-nginx-module
make
&&
make install
在nginx的server{}節(jié)點(diǎn)中增加配置：
chunkin
on
;
error_page
411
=
@
my_411_error
;
location
@
my_411_error
{
chunkin_resume
;
}
7 狀態(tài)監(jiān)控
編譯時(shí)需要增加
--with-http_stub_status_module
參數(shù)。
查看編譯參數(shù)：使用命令
/usr/local/nginx/sbin/nginx -V
安裝好之后增加配置：
location
/nginx_status
{
stub_status
on
;
access_log
off
;
# deny all;
allow
all
;
}
重新加載配置后，會(huì)看到一些文本：
Active connections: 1 （對(duì)后端發(fā)起的活動(dòng)連接數(shù)）
server accepts handled requests
5 5 5 （處理連接個(gè)數(shù)，成功握手次數(shù)，處理請(qǐng)求數(shù)）
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺(jué)我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長(zhǎng)非常感激您！手機(jī)微信長(zhǎng)按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
