FastDFS蛋疼的集群和负载均衡(六)之Nginx高可用集群-白红宇

###Interesting things

接着上一篇。

###What did you do today

Keepalived是一个高性能的服务器高可用解决方案，Keepalived主要防止服务器单点故障的发生问题，可以通过Nginx的配合实现web服务端的高可用。

还记得我们空出来的192.168.12.77和192.168.12.88吗？这2台设备就是用来配置nginx的集群和高可用。我们可以虚拟出来一个192.168.12.XX，外界请求访问虚拟ip而不是真正的Nginx。

那什么是高可用呢？

高可用是指同一时间提供服务的只有一台设备，主服务器挂掉后，备用服务器便开始提供服务。

老操作, yum install pcre、yum install pcre-devel、yum install zlib、yum install zlib-devel、yum install openssl、openssl-devel(openssl 现在我可能还用不上)为什么要安装这些？我前几篇博客没有讲，现在来讲讲。

nginx的http模块使用pcre来解析正则表达式 pcre-devel是使用pcre开发的一个二次库，nginx也需要。 zlib提供了很多种压缩的方式，nginx使用zlib对http包的内容进行gzip nginx支持https，所以需要安装openssl库。

下载

把keepalived-1.2.18.tar.gz拷贝到/usr/local/software/目录下

解压keepalived-1.2.18.tar.gz到/usr/local/，命令:tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/

进入/usr/local/keepalived-1.2.18/,进行配置检查。命令：./configure --prefix=/usr/local/keepalived

老操作编译安装，make && make install

创建/etc/keepalived目录，我们需要把keepalived做成一个服务，这样可以开机自行启动。

进入/usr/local/keepalived/etc/keepalived/，将keepalived.conf拷贝到/etc/keepalived/目录下。

进入/usr/local/keepalived/etc/rc.d/init.d/目录下，将keepalived拷贝到/etc/init.d/目录下

进入/usr/local/keepalived/etc/sysconfig目录下，将keepalived拷贝到/etc/sysconfig/目录下。

创建第一个软链接，ln -s /usr/local/keepalived/sbin/keepalived /usr/sbin/

设置为keepalived开机启动，chkconfig keepalived on

开启keepalived服务, service keepalived start.

现在192.168.12.77修改/etc/keepalived/keepalived.conf文件。修改后的配置内容如下：

! Configuration File for keepalived        global_defs {                 router_id nginx_cx_7_no_1        }        vrrp_script chk_nginx {                script "/etc/keepalived/nginx_check.sh"                interval 2                weight -20        }        vrrp_instance VI_1 {        }        vrrp_instance VI_1 {                state MASTER                interface eth0                virtual_router_id 77                mcast_src_ip 192.168.12.77                priority 100                nopreempt                advert_int 1                authentication {                        auth_type PASS                        auth_pass 1111                }                track_script {                        chk_nginx                }                virtual_ipaddress {                        192.168.12.111                }        }复制代码

下面我们就具体的讲讲配置内容。 1.global_defs代表配置中的主机名，我就把192.168.12.77设置为nginx_cx_7_no_1把，所以router_id的值为nginx_cx_7_no_1

global_defs { router_id nginx1 }

2.每隔2s去执行/etc/keepalived/nginx_check.sh脚本，这一项检查从开始便一直进行，interval表示间隔时间，weight -20代表脚本执行成功后192.168.12.77这个节点的优先级降低20. vrrp_script chk_nginx { script "/etc/keepalived/nginx_check.sh" interval 2 weight -20 } 3.state MASTER表示该节点角色为master，interface eth0表示设备的网卡是eth0，virtual_router_id 77是取自当前设备的ip也就是192.168.12.77的后两位。mcast_src_ip 192.168.12.7指定当前设备的ip，priority 100代表优先级是100，优先级在keepalived实现高可用方面超级重要。keepalived是根据优先级来选择当前提供服务的设备。

我们这里用192.168.12.77指A设备，用192.168.12.88指B设备。假设A设备的优先级是100，B设备的优先级是90，那么keepalived服务器一开始去检查优先级，发现A设备的优先级很高，于是让A设备当大哥，让它去提供服务。当A设备的nginx挂了后，由于nginx_check脚本每2秒执行一次，发现A设备没有nginx进程后，先会尝试重新启动nginx，如果重新启动还是不行，这就很皮了！然后大发雷霆，就会杀掉所有的keepalived进程。然后回调给keepalived服务器，告知大哥的nginx挂掉了。keepalived服务器得知后，会把A设备的优先级减20，从而A设备的优先级为80。这样下次keepalived来检查优先级时，B设备的优先级比A设备搞，那么B设备就可以对外提供服务。美滋滋，这就实现了高可用。 5.这段配置，2个节点要一样，表示它们属于一个组，keepalived会同一组中去做检查并保持高可用。

authentication { auth_type PASS auth_pass 1111 }

6.track_script里面的chk_nginx要与前面定义的定时执行脚本名(vrrp_script chk_nginx { } )保持一致。 7. 自己定义对外提供服务的虚拟ip。

virtual_ipaddress { 192.168.12.111 }

接着我们也修改192.168.12.88的keepalived.conf的内容。如下文所示：

global_defs {                   router_id nginx_cx_8_no_2        }                 vrrp_script chk_nginx {                script "/etc/keepalived/nginx_check.sh"                interval 2                  weight -20          }                       vrrp_instance VI_1 {                state BACKUP                interface eth0                virtual_router_id 77                mcast_src_ip 192.168.12.88                priority 90                  nopreempt                    advert_int 1                                authentication {                        auth_type PASS                        auth_pass 1111                }                                       track_script {                        chk_nginx                }                       virtual_ipaddress {                        192.168.12.111                }        }复制代码

我们发现192.168.12.88的keepalived的router_id 是nginx_cx_8_no_2，state是BACKUP(备用)，priority是90。这些和192.168.12.77是不一样的。这里要注意的是virtual_router_id必须要保持一致。

192.168.12.77和192.168.12.88设备中我们还没有配置nginx，我们需要解压编译安装nginx。

解压nginx-1.6.2.tar.gz到/usr/local/

进入/usr/local/nginx-1.6.2/目录，输入 ./configure --prefix=/usr/local/nginx进行验证nginx 。

输入make && make install 编译安装nginx

*在/etc/keepalived/目录下，创建nginx_check.sh，命令:touch nginx_check.sh，然后写入以下脚本：

A=`ps -C nginx --no-header |wc -l`  if [ $A -eq 0 ];then      /usr/local/nginx/sbin/nginx      sleep 2      if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then          killall keepalived      fi  fi  复制代码

老操作，在iptables添加80端口策略，命令：-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT，然后重启防火墙，让策略生效。

为了区分欢迎页是哪个节点下的欢迎页，我先修改192.168.12.77的欢迎页。我们进入/usr/local/nginx/html/目录下，修改index.html，如图所示。

同样的，在192.168.12.88设备中修改nginx的html目录下的index.html.

启动192.168.12.77和192.168.12.88的nginx。

访问192.168.12.77

访问192.168.12.88

然后我们启动192.168.12.77、192.168.12.88的keepalived，service keepalived start

启动keepalived后，我们发现两个节点输入ip a，发现都可以看到共同的虚拟ip 192.168.12.111。可是这是不合理的，正确情况下只有master角色的节点上才有虚拟ip

造成这个原因的是防火墙，我们可以试着把2个节点的防火墙都关闭，命令是：service iptables stop.

关闭之后，我们再在2个节点输入ip a命令。发现只有master有虚拟ip，而backup没有虚拟ip。这才是正确的。我们可以禁止iptables开机启动。命令：chkconfig iptables off.

我们用虚拟ip(192.168.12.111)去访问。我们发现启动的是192.168.12.77设备的nginx，里面它的优先级是100，而192.168.12.88设备的nginx优先级是90.

我们可以演示一下keepalived的高可用，我们把192.168.12.77的keepalived服务关闭，看keepalived服务器会不会自动切换到192.168.12.88的nginx为我们提供服务。

我们再来访问192.168.12.111.此时我们发现是192.168.12.88的nginx为我们提供服务。

我们再把192.168.12.77(master)的keepalived服务打开。

我们再次访问192.168.12.111.我又发现又切换到nginx master，也就是192.168.12.77

我们可以重启192.168.12.77和192.168.12.88。

我们使用service keepalived status查看keepalived服务是否自动启动。结果证明自动启动了，美滋滋。

我们之前不是说过了吗？nginx_check.sh脚本每隔2s就会检测是否存在nginx进程，如果该节点的nginx进程为0，会尝试重启nginx，如果重启失败的话，则抹杀keepalived进程。我们可以用192.168.12.77做一个测试。

先关闭nginx,命令：/usr/local/nginx/sbin/nginx -s stop。很糟糕的事情发生了，出现了一个错误" [error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)". 很简单，这说明在/usr/local/nginx/logs/目录下面，缺少nginx.pid文件。

我们只需要输入命令"/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf"即可生成nginx.pid.

然后再次输入命令 /usr/local/nginx/sbin/nginx -s stop，就可以关闭nginx了，啦啦啦。

接着我们进入/usr/local/nginx/conf/目录下面，修改nginx.conf文件，添加一个小错误，比如添加"cmazxiaoma is handsome"

保存nginx.conf后，重新启动nginx，肯定会报错。美滋滋。

最后我们查看keepalived进程，发现尼玛还有keepalived进程。

我第一反应想到会不会是nginx_check.sh脚本写错了呢？我进入/etc/keepalived/目录，输入命令"sh nginx_check.sh"，发现抛出“killall 未知的命令”。

我摸了摸脑袋发现，我的虚拟机都是精简把，没有安装psmisc.那么我们就安装它把。yum install psmisc.

安装完毕，我们再查看keepalived进程。发现keepalived进程还是存在的。

我觉得nginx_check.sh没有问题，我怀疑它没有得到执行。那么我们就自己执行nginx_check.sh。执行结果如下：

我们再次查看keepalived进程，发现keepalived进程都被抹杀了。这证明我的直觉没有问题，nginx_check没有得到执行。

我又有一个大胆的想法，会不会是后台执行nginx_check,sh脚本时，没有权限。

我们输入nohup /etc/keepalived/nginx_check.sh，提示我们没有权限。

权限不够，怎么办？加呗！使用chmod 777 nginx_check.sh，使其他程序能够对nginx_check.sh进行读、写、执行。

我们查看keepavlied进程，发现已被nginx_check.sh所抹杀。

哈哈哈，192.168.12.77挂了，那么我们再访问192.168.12.111，nginx有没有切换到192.168.12.88的nginx。结果很让我满意！

###Summary

美滋滋，Nginx高可用集群已被搞定。下一篇讲如何把Nginx高可用集群应用到FastDFS集群当中。