Nginx+Keepalived双主轮询负载均衡

原创
2015/12/29 16:02
阅读数 9K

将两台LBServer(Nginx)分别添加VIP1与VIP2(Keepalived心跳监测),两台LBServer互为主从,共同提供服务,提高资源利用率。同时使用DNS管理系统(如Dnspod)做多条A记录解析至对应的VIP1与VIP2,实现对两台Nginx的轮询(负载均衡),当一台LBServer故障时,VIP会转移到另一台继续提供服务,这里配置Nginx+keepalived双主高可用。

系统

两台Nginx

CentOS6.7 x86_64

两台Web

Ubuntu15.04 desktop

IP地址

Nginx1:192.168.15.132

Nginx2:192.168.15.133

VIP1:192.168.15.135

VIP2:192.168.15.136

Real1:192.168.15.128

Real2:192.168.15.130

部署整个环境用到的软件为:

nginx-1.6.3.tar.gz  
prce-8.38.tar.gz 

zlib-1.2.8.tar.gz

2Web主机(Ubuntu)上部署环境安装Nginx+PHP-FPM+MySQL

分别在二台Nginx负载均衡器上安装Nginx,配置

安装GCC编译器等工具:

yum install -y gcc gcc-c++ autoconf automake libtool make openssl openssl-devel

安装Nginx:

wget http://exim.mirror.fr/pcre/pcre-8.38.tar.gz

tar -zxvf pcre-8.38.tar.gz

cd pcre-8.38

./configure

make && make install

wget http://zlib.net/zlib-1.2.8.tar.gz

tar -zxvf zlib-1.2.8.tar.gz

cd zlib-1.2.8

./configure

make && make install

wget http://nginx.org/download/nginx-1.6.3.tar.gz

tar -zxvf nginx-1.6.3.tar.gz 
cd nginx-1.6.3/  

./configure --prefix=/usr/local/nginx

--sbin-path=/usr/local/nginx/sbin/nginx

--conf-path=/usr/local/nginx/conf/nginx.conf

--pid-path=/usr/local/nginx/logs/nginx.pid \

--with-http_ssl_module \

--with-http_stub_status_module \

--with-http_gzip_static_module \ 

make && make install 

:查询"./configure --help"相关模块,按需求指定启用

Nginx.conf配置文件二个nginx负载均衡器的文件一样

user  www-data www-data;

worker_processes  1;

 

error_log  /usr/local/nginx/logs/error.log notice;

pid        /usr/local/nginx/logs/nginx.pid;

 

worker_rlimit_nofile 51200;

 

events {

    use epoll;

    worker_connections  51200;

}

 

http {

    include       mime.types;

    default_type  application/octet-stream;

 

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                      '$status $body_bytes_sent "$http_referer" '

                      '"$http_user_agent" "$http_x_forwarded_for"';

 

    access_log  logs/access.log  main;

 

    server_names_hash_bucket_size 128;

    client_header_buffer_size 32k;

    large_client_header_buffers 4 32k;

    client_max_body_size 8m;

    sendfile        on;

    tcp_nopush     on;

    server_tokens off;

    keepalive_timeout  60;

    fastcgi_connect_timeout 300;

    fastcgi_send_timeout 300;

    fastcgi_read_timeout 300;

    fastcgi_buffer_size 64k;

    fastcgi_buffers 4 64k;

    fastcgi_busy_buffers_size 128k;

    fastcgi_temp_file_write_size 128k;

    gzip  on;

 

    upstream backend

    {

    server 192.168.15.128;

    server 192.168.15.130;

    }

 

    server {

        listen       80;

        server_name  192.168.15.135;  #Nginx2改为192.168.15.136

 

        location / {

            root   html;

            index  index.php index.html index.htm;

            proxy_redirect off;

            proxy_set_header Host $host;

            proxy_set_header X-Real-IP $remote_addr;

            #后端的Web服务器可以通过X-Forwarded-For获取用户真实IP

            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

            proxy_pass http://backend;

        }

 

        error_page   500 502 503 504  /50x.html;

        location = /50x.html {

            root   html;

        }

        

        location /nginx_status {

            stub_status on; 

            auth_basic "NginxStatus";

            auth_basic_user_file /usr/local/nginx/htpasswd;

            #allow 127.0.0.1;

            #deny all;

        }

        location ~* \.(ini|docx|txt|doc|pdf)$ {

        #禁止访问文档性文件

        root /usr/share/nginx/html;

        deny all;

        }

        location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|js|html|htm|css)$ {

        root /home/image;

        proxy_store on;

        proxy_store_access user:rw group:rw all:rw;

        proxy_temp_path /home/image;

        if ( !-e $request_filename) {

           proxy_pass  http://backend;

        }

    }

}

}

在二台Nginx上安装及配置keepalived:

wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz 

tar -zxvf keepalived-1.2.15.tar.gz

cd keepalived-1.2.15

./configure --sysconf=/etc/  --with-kernel-dir=/usr/src/kernels/2.6.32-573.8.1.el6.x86_64

make && make install

ln -s /usr/local/sbin/keepalived  /sbin/  

#这一步很重要,不执行ln -s会报错“Starting keepalived: /bin/bash: keepalived: command not found”

service keepalived start

二台Nginx上keepalived.conf配置如下,配置完成后分别service keepalived start启动检测keepalived配置是否成功

Nginx1:

global_defs {

   notification_email {

     test@163.com

   }

   notification_email_from keepalived@localhost

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id NGINX_VIP1

}

 

vrrp_script chk_http_port {

script "/usr/local/src/check_nginx_pid.sh"

interval 2                           #(检测脚本执行的间隔)

weight 2

}

 

vrrp_instance VI_1 {

    state MASTER

    interface bond0

    virtual_router_id 51

    priority 100

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

}

 

track_script {

    chk_http_port            #(调用检测脚本)

}

    virtual_ipaddress {

 

    192.168.15.135/24 broadcast 192.168.15.255 dev bond0 label bond0:1

}

}

 

 

vrrp_instance VI_2 {

    state BACKUP

    interface bond0

    virtual_router_id 52

    priority 99

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

}

 

track_script {

     chk_http_port            #(调用检测脚本)

}

 

    virtual_ipaddress {

    192.168.15.136/24 broadcast 192.168.15.255 dev bond0 label bond0:2

    }

 

Nginx2: 

global_defs {

   notification_email {

     test@163.com

   }

   notification_email_from keepalived@localhost

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id NGINX_VIP2

}

 

vrrp_script chk_http_port {

script "/usr/local/src/check_nginx_pid.sh"

interval 2                           #(检测脚本执行的间隔)

weight 2

}

 

vrrp_instance VI_1 {

    state BACKUP

    interface bond0

    virtual_router_id 51

    priority 99

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

}

track_script {

        chk_http_port            #(调用检测脚本)

}

 

    virtual_ipaddress {

 

 

    192.168.15.135/24 broadcast 192.168.15.255 dev bond0 label bond0:1

}

}

 

 

vrrp_instance VI_2 {

    state MASTER

    interface bond0

    virtual_router_id 52

    priority 100

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

}

 

track_script {

       chk_http_port            #(调用检测脚本)

}

 

    virtual_ipaddress {

 

    192.168.15.136/24 broadcast 192.168.15.255 dev bond0 label bond0:2

    }

以下是针对nginx状态进行检测的脚本,第一次nginx服务死掉时会重新启动,如果Nginx无法正常启动,则杀掉keepalived进程

vim  /usr/local/src/check_nginx_pid.sh

#!/bin/bash

A=`ps -C nginx --no-header |wc -l`        

if [ $A -eq 0 ];then                            

      /usr/local/nginx/sbin/nginx        

      if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then  

              killall keepalived                    

      fi

fi

配置完毕,测试停掉其中一台的任何服务,不影响整个系统的运作。通过DNS管理系统轮询VIP1与VIP2,实现Nginx的负载均衡

 

展开阅读全文
打赏
3
192 收藏
分享
加载中
mind-blowing博主

引用来自“all4n”的评论

补充,搜索知道bond是多网卡绑定。我不用这个bond,只用单的ethx网卡怎么设置呢
直接进行设置
2016/07/24 10:06
回复
举报
mind-blowing博主

引用来自“all4n”的评论

你好,我想问两个问题
1,是这配置走到最后,这dev bond0怎么来的,还有 label bond0:1什么意思,怎么在系统里配置这两个呢?
2.两个VIP是哪来的?在哪里配置?这后面步骤是什么,就是启动nginx和keepalived?

我是新手,别见笑。看了N篇,就是你这个写的最好,只是最后收尾没了15
设备bond0上添加标签(虚拟网卡)bond0:1及vip的添加看下ip命令的使用。
2016/07/24 10:06
回复
举报
补充,搜索知道bond是多网卡绑定。我不用这个bond,只用单的ethx网卡怎么设置呢
2016/07/23 12:20
回复
举报
你好,我想问两个问题
1,是这配置走到最后,这dev bond0怎么来的,还有 label bond0:1什么意思,怎么在系统里配置这两个呢?
2.两个VIP是哪来的?在哪里配置?这后面步骤是什么,就是启动nginx和keepalived?

我是新手,别见笑。看了N篇,就是你这个写的最好,只是最后收尾没了15
2016/07/23 12:18
回复
举报

引用来自“笔阁”的评论

我写的这个网站也用到了nginx,nginx还是很强大的。
www.hubwiz.com
看起来不错啊
2016/01/04 19:17
回复
举报
我写的这个网站也用到了nginx,nginx还是很强大的。
www.hubwiz.com
2016/01/04 09:02
回复
举报
mind-blowing博主

引用来自“bboss”的评论

在应用中配合bboss的session共享就更加完美了:

http://my.oschina.net/bboss/blog/593679

收到
2016/01/03 13:46
回复
举报
在应用中配合bboss的session共享就更加完美了:

http://my.oschina.net/bboss/blog/593679
2016/01/03 13:33
回复
举报
mind-blowing博主

引用来自“妩媚的悟空”的评论

能否提供现成的脚本或者是镜像方便大家伙去用最短的时间部署?这东西都是很成熟的东西了,不要再让其他想用的人再重复造轮子了。

OK,测试后会及时发出来。
2015/12/30 16:46
回复
举报
能否提供现成的脚本或者是镜像方便大家伙去用最短的时间部署?这东西都是很成熟的东西了,不要再让其他想用的人再重复造轮子了。
2015/12/30 16:45
回复
举报
更多评论
打赏
12 评论
192 收藏
3
分享
返回顶部
顶部