HAProxy双机高可用方案之HAProxy+Keepalived
博客专区 > lee_ypp 的博客 > 博客详情
HAProxy双机高可用方案之HAProxy+Keepalived
lee_ypp 发表于3年前
HAProxy双机高可用方案之HAProxy+Keepalived
  • 发表于 3年前
  • 阅读 6012
  • 收藏 64
  • 点赞 1
  • 评论 4
摘要: 一、keepalived高可用 二、haproxy负载均衡 三、haproxy+keepalived的整合

HAProxy双机高可用方案之HAProxy+Keepalived

一、keepalived高可用

Keepalived 的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除, 当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的 web服务器。

系统环境: RHEL6.5x86_64 small install selinux and iptables disabled

Virtual IP             192.168.2.254

192.168.2.162    server62.exampl.com     (master)

192.168.2.163    server63.example.com(backup)

192.168.2.52      desktop52.example.com(real server)

192.168.2.53      desktop53.example.com(real server)

编辑/etc/hoststs做以上解析

1.keepalived的安装配置

主备机上的软件包安装与配置 

#yum install ipvsadm kernel-devel openssl-devel popt-devel libnl-devel gcc make -y 

源码编译安装keepalived:

#wget http://www.keepalived.org/software/keepalived-1.2.12.tar.gz 

#tar zxf keepalived-1.2.12.tar.gz 

#cd  keepalived-1.2.12 

#./configure --prefix=/usr/local/keepalived    (安装目录)

... Keepalived configuration 

------------------------ 

Keepalived version           : 1.2.5 

Compiler                         : gcc 

Compiler flags                 : -g -O2 

Extra Lib                          : -lpopt -lssl -lcrypto  -lnl 

Use IPVS Framework       : Yes 

IPVS sync daemon support : Yes 

IPVS use libnl                 : Yes 

Use VRRP Framework     : Yes 

Use VRRP VMAC            : Yes 

SNMP support               : No 

Use Debug flags            : No

#make && make install

创建链接:

#ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ 

#ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

#ln -s /usr/local/keepalived/etc/keepalived /etc/ 

#ln -s /usr/local/keepalived/sbin/keepalived /sbin

keepalived主配置文件的修改:

#vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived 
 
global_defs { 

   notification_email { 
     root@localhost  
        #接收警报的 email 地址,可以添加多个 

} 
   notification_email_from keepalived@server62.example.com #设置邮件的发送地址 

   smtp_server 127.0.0.1 #设置邮件的发送地址 

   smtp_connect_timeout 30 #设置连接 smtp 服务器超时时间 

   router_id LVS_DEVEL #load balancer 的标识 ID,用于 email 警报 

} 
vrrp_instance VI_1 { 
    state MASTER            #备机改为 BACKUP,此状态是由 priority 的值来决定的,当前 priority 的值小于备机的值,那么将会失去 MASTER 状态 

    interface eth0             #HA 监测网络接口 

    virtual_router_id 200   #主、备机的 virtual_router_id 必须相同,取值 0-255 

    priority 78                  #主机的优先级,主机优先级一定要大于备机 

    advert_int 1               #主备之间的通告间隔秒数 

    authentication {        #主备切换时的验证 

     auth_type PASS     #设置验证类型,主要有 PASS 和 AH 两种 

     auth_pass 1111     #设置验证密码,在一个 vrrp_instance 下,MASTER 与 BACKUP 必须使用相同的密码才能正常通信 
} 
    virtual_ipaddress { 
        
192.168.2.254        #设置虚拟 IP 地址,可以设置多个虚拟 IP 地址,每行一个 

 } 
    virtual_server 192.168.2.254 80 {#定义虚拟服务器 

     delay_loop 6           #每隔 6 秒查询 realserver 状态 

     lb_algo rr               #lvs 调度算法,这里使用轮叫 

     lb_kind DR             #LVS 是用 DR 模式

#    persistence_timeout 50                 #会话保持时间,单位是秒,这个选项对于动态网页是非常有用的,为集群系统中 session 共享提供了一个很好的解决方案。有了这个会话保持功能,用户的请求会被一直分发到某个服务节点,直到超过这个会话保持时间。需要注意的是,这个会话保持时间,是最大无响应超时时间,也就是说用户在操作动态页面时,如果在 50 秒内没有执行任何操作,那么接下来的操作会被分发到另外节点,但是如果一直在操作动态页面,则不受 50 秒 的时间限制。(默认是打开的,要禁掉哦

     protocol TCP           #指定转发协议类型,有 tcp 和 udp 两种 

     real_server 192.168.2.52 80 {     #配置服务节点 

     weight 1                 #配置服务节点的权值,权值大小用数字表示,数字越大,权 值越高,设置权值的大小可以为不同性能的服务器分配不同的负载,可以对性能高的服务器设 置较高的权值,而对性能较低的服务器设置相对较低的权值,这样就合理的利用和分配了系统 资源 

     TCP_CHECK {              #realserve 的状态检测设置部分,单位是秒 

     connect_timeout 3                 #10 秒无响应超时 

     nb_get_retry 3                       #重试次数 

     delay_before_retry 3              #重试间隔 

      } 

    } 
    real_server 192.168.2.53 80 { 
      weight 1 
      TCP_CHECK { 
      connect_timeout 3 
      nb_get_retry 3 
     delay_before_retry 3 
     } 
    } 
}

#/etc/init.d/keepalived restart 启动keepalived 

2.realserver的配置

#分别在 realserver 上执行以下命令添加策略

192.168.2.53 

#ifconfig eth0:0 192.168.2.254 netmask 255.255.255.255 up 添加虚拟ip 

#arptables -A IN -d 192.168.2.254 -j DROP 

#arptables -A OUT -s 192.168.2.254 -j mangle --mangle-ip-s 192.168.2.53

这些配置会写入文件/etc/sysconfig/arptables

#/etc/init.d/arptables_jf save 

#/etc/init.d/arptables_jf start 

#echo `hostname` > /var/www/html/index.html 

#service httpd start

192.168.2.52

#ifconfig eth0:0 192.168.2.254 netmask 255.255.255.255 up 

#arptables -A IN -d 192.168.2.254 -j DROP 

#arptables -A OUT -s 192.168.2.254 -j mangle --mangle-ip-s 192.168.2.52

这些配置会写入文件/etc/sysconfig/arptables

#/etc/init.d/arptables_jf save 

#/etc/init.d/arptables_jf start 

#echo `hostname` > /var/www/html/index.html 

#service httpd start

最后在master主机查看是否添加成功

# ipvsadm -l
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.2.254:http rr
  -> server52.example.com:http   Route   1      0          7        
  -> server53.example.com:http    Route   1      0          8       

4.测试: 
1.高可用测试:停止 master 上的 keepalived 服务,看 backup 是否接管。 
2. 负载均衡测试:访问 http://192.168.2.254,看到页面在两个 realserver 上切换表示成功你也可以通过 ipvsadm -Lnc 查看详细连接情况! 
3. 故障切换测试:任意关闭 realserver 上的 httpd 服务,Keepalived 监控模块是否能及时发现, 然后屏蔽故障节点,同时将服务转移到正常节点来执行。 

5.添加ftp服务:(理论需要再加一个需拟IP,可是一个IP也可以)

在两个服务节点安装vsftpd服务

[root@server52 ~]# yum install -y vsftpd

[root@server52 ftp]# ls     在ftp的发布目录里写东西测试;

pub  server52(server53)

[root@server52 ftp]#service vsftpd restart      开启服务

修改两台调度器的配置文件:

master和backup主机修改住配置文件

# vim /etc/keepalived/keepalived.conf 在其后添加           

virtual_server 192.168.2.254 21 (ftp端口号是21){
    delay_loop 3
    lb_algo rr
    lb_kind DR
    persistence_timeout 50         -----》持续链接(!很重要哦)
    protocol TCP

    real_server 192.168.2.52 21 {
        weight 1
            TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 192.168.2.53 21 {
        weight 1
            TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
 }
 }
}

reload两台调度器

# /etc/init.d/keepalived reload

!注意:如果使用的是另一个虚拟ip,要在real server主机上用arptables分别添加进去(本实验为了方便不做演示,具体过程如上)。

测试:先用浏览器测试httpd服务是否能正常启动,再用真机终端测ftp服务
# lftp 192.168.2.254
lftp 192.168.2.254:~> ls
drwxr-xr-x    2 0        0            4096 Feb 12  2013 pub
-rw-r--r--    1 0        0               0 May 31 08:02 server52
lftp 192.168.2.254:/> quit     

查看是否添加成功

# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.2.254:ftp rr persistent 50
  -> server52.example.com:ftp     Route   1      0          0         
  -> server53.example.com:ftp     Route   1      0          0         
TCP  192.168.2.254:http rr
  -> server52.example.com:http    Route   1      0          0         
  -> server53.example.com:http    Route   1      0          0 

二、haproxy负载均衡

HAProxy 提供高可用性、负载均衡以及基于 TCP 和 HTTP 应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy 特别适用于那些负载特大的 web 站点, 这些站点通常又需要会话保持或七层处理。HAProxy 运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整 合进您当前的架构中, 同时可以保护你的 web 服务器不被暴露到网络上。


节点主机:192.168.2.162 haproxy 、keepalived

                192.168.2.163 haproxy、keepalived

realserver:    192.168.2.52 web1

                        192.168.2.53 web2

vip  :    192.168.2.254

1.haproxy的安装配置   

1.1、rpm 包方式:rpmbuild -tb haproxy-1.4.23.tar.gz

rpm -ivh /root/rpmbuild/RPMS/x86_64/haproxy-1.4.23-1.x86_64.rpm

1.2、源码方式:

tar zxf haproxy-1.4.23.tar.gz

cd haproxy-1.4.23

make TARGET=linux26 ARCH=x86_64 USE_PCRE=1 PREFIX=/usr/local/haproxy install

2、修改配置文件:

#vi /etc/haproxy/haproxy.cfg

global

            log 127.0.0.1 local0            #指定日志设备

            #log 127.0.0.1 local1 notice

               log loghost local0 info #指定日志类型,还有 err warning debug

               maxconn 65535 #并发最大连接数量

               chroot /usr/share/haproxy #jail 目录

                uid 99 #用户

                gid 99 #组

                daemon #后台运行

                #debug

                #quiet

defaults

                log    global

                mode http #默认使用 http 的 7 层模式 tcp: 4 层

                option httplog #http 日志格式

                option dontlognull #禁用空链接日志

                retries 3 #重试 3 次失败认为服务器不可用

                option redispatch #当 client 连接到挂掉的机器时,重新分配到健康的主机

             maxconn 65535

                contimeout 5000 #连接超时

                clitimeout 50000 #客户端超时

                srvtimeout 50000 #服务器端超时

                stats uri    /status    #haproxy 监控页面

listen www.example.com *:80            #监听的实例名称,地址和端口

            balance roundrobin                #负载均衡算法

            server web1 192.168.2.52:80 cookie app1inst1 check inter 2000 rise 2 fall 5

            server web2 192.168.2.53:80 cookie app1inst2 check inter 2000 rise 2 fall 5

          #cookie app1inst1:表示 serverid 为 app1inst1        #check inter 2000:检测心跳频率

           #rise 2:表示 2 次正确认为服务器可用                        #fall 5:表示 5 次失败认为服务器不可用

# mkdir /usr/share/haproxy

# /etc/init.d/haproxy start

当 haproxy启动报错——Starting proxy www.example.com: cannot bind socket这个问题,其实就是因为你的haproxy没有得到VIP的原因,而你的配置文件又绑定了VIP地址,所以会提示以上错误当然,你也要确保你 的haproxy服务器做了hearbeat或keepalived,绑定VIP,要不就无法高可用了。
解决方法:

修改内核参数: /etc/sysctl.conf

net.ipv4.ip_nonlocal_bind=1

保存结果,使结果生效

sysctl –p

或者使用echo进去,前提是sysctl.conf文件中没有本条参数:

echo 'net.ipv4.ip_nonlocal_bind = 1'>>/etc/sysctl.conf            ##net.ipv4.ip_nonlocal_bind=1 意思是启动haproxy的时候,允许忽视VIP的存在

除上面的原因之外,还有可能造成Starting proxy www.example.com: cannot bind socket确定你的haproxy服务器中是否开启有apache或nginx等WEB服务,如果有,请先停掉这些服务否则就出现以上故障

顺便提醒下,haproxy代理服务器同时也要打开内核的转发功能,如下参数:

net.ipv4.ip_forward = 1

2.测试:

访问 http://www.example.com 测试负载,访问 haproxy 监控页面:http://192.168.2.162/status

监控页面添加认证:

listen stats_auth *:80

        stats enable

        stats uri /status #监控页面地址

        stats auth admin:westos #管理帐号和密码

        stats refresh 5s #刷新频率

haproxy 日志:

# vi /etc/rsyslog.conf #接受 haproxy 日志

$ModLoad imudp 

$UDPServerRun 514 

local0.* /var/log/haproxy.log        #日志文件位置

# /etc/init.d/rsyslog restart

三、haproxy+keepalived的整合

MASTER:

#vim /etc/keepalived/ keepalived.conf

# cat keepalived.conf

! Configuration File for keepalived

vrrp_script check_haproxy {

        script "/etc/keepalived/check_haproxy.sh"

        interval 2

        weight 2

}

global_defs {

            notification_email {

            root@localhost

}

        notification_email_from keepalived@server62.example.com

        smtp_server 127.0.0.1

        smtp_connect_timeout 30

        router_id LVS_DEVEL

}

vrrp_instance VI_1 {

        state MASTER

        interface eth0

        virtual_router_id 151

        priority 100

        advert_int 1

        authentication {

            auth_type PASS

            auth_pass 1111

        }

virtual_ipaddress {

        192.168.2.254

    }

track_script {

        check_haproxy

    }

}

BACKUP:

# cat keepalived.conf

! Configuration File for keepalived

vrrp_script check_haproxy {

        script "/etc/keepalived/check_haproxy.sh"

        interval 2

        weight 2

    }

global_defs {

        notification_email {

        root@localhost

    }

        notification_email_from keepalived@server63.example.com

        smtp_server 127.0.0.1

        smtp_connect_timeout 30

        router_id LVS_DEVEL

    }

vrrp_instance VI_1 {

        state BACKUP

        interface eth0

        virtual_router_id 151

        priority 50

        advert_int 1

        authentication {

            auth_type PASS

            auth_pass 1111

        }

virtual_ipaddress {

        192.168.2.254

    }

track_script {

        check_haproxy

    }

}

检测脚本:

# cat /etc/keepalived/check_haproxy.sh            (记得加可执行权限哦)

#!/bin/bash

/etc/init.d/haproxy status &> /dev/null || /etc/init.d/haproxy restart &> /dev/null

if [ $? -ne 0 ];then

/etc/init.d/keepalived stop &> /dev/null

fi

到此整个架构搭建完成,这时可以通过haproxy的监控页面来监控负载均衡


四、验证此架构及注意事项

我们可以关闭主HAProxy机器或重新启动,看在此过程中,VIP地址有没有正确的转移到从HAProxy机器上,影响我们访问网站没,以上步骤我自己测试过多次,而且线上环境的稳定行,证明HAProxy+Keeaplived双机方案确实是有效的。

关于HAProxy+Heartbeat这种负载均衡高可用架构,有些情况我也跟大家说明一下:

◆在此HAProxy+Keepalivp负载均衡高可用架构中,我们是如何解决session的问题呢?我们这里采用的是它自身的balance source(负载均衡)机制,它跟Nginx的ip_hash机制原理类似,是让客户机访问时始终访问后端的某一台真实的web服务器,这样让session就固定 下来了;

◆有网友配置HAProxy时喜欢用listen xxx.xxx.xxx.xxx:80这样的格式,这样其实不好,做负载均衡高可用时由于从机分配不到VIP地址,会导致从机启动不了,我建议用bind *:80的方式来代替。

◆HAProxy的并发监控暂时没有Nginx中的相关模块,但可以考虑用SHELL命令或自行开发PHP或JSP程序来监控。

                ——leeypp@gmail.com

            

共有 人打赏支持
粉丝 65
博文 40
码字总数 58343
评论 (4)
zhidan
看成keep-alive了13原来还有keepalive呀,学习了,感谢楼主
lee_ypp

引用来自“zhidan”的评论

看成keep-alive了13原来还有keepalive呀,学习了,感谢楼主
这是这两天最新做的,每一步都写的很详细,希望能帮到你
轻松筹社长
写的好、回头仔细看看。
panhan
session问题并没有解决,用户始终访问后台一个web服务器,如果访问当中,这web服务器宕机了呢?
×
lee_ypp
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: