Linux集群概述：
根据功能划分为两大类：高可用和负载均衡
高可用集群通常为两台服务器，一台工作，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务
实现高可用的开源软件有：heartbeat、keepalived
负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2
实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler
keepalived介绍
keepalived是实现高可用的一种轻量级的技术手段，主要用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生。
keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。
在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。
master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。
Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。
用keeplive搭建高可用：
准备两台机器128和129，128作为master，129作为backup
两台机器都执行yum install -y keepalived
两台机器都安装nginx，其中128上已经编译安装过nginx，129上需要yum安装nginx: yum install -y nginx
设定vip为100
编辑128上keepalived配置文件，参考https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf
配置信息如下：cat /etc/keepalived/keepalived.conf
global_defs {
notification_email { //发送邮件
aming@aminglinux.com
}
notification_email_from root@aminglinux.com //指定邮件的来源
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_nginx { //检查服务是否健康，需要定义脚本
script "/usr/local/sbin/check_ng.sh"
interval 3 //间隔时间
}
vrrp_instance VI_1 {
state MASTER //master
interface ens33 //网卡
virtual_router_id 51 //路由器ID
priority 100 //权重
advert_int 1
authentication { //定义密码验证
auth_type PASS
auth_pass aminglinux>com
}
virtual_ipaddress { //定义VIP
192.168.88.100
}
track_script {
chk_nginx //加载脚本
}
}
128编辑监控脚本，参考https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh
脚本如下: cat /usr/local/sbin/check_ng.sh
#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
/etc/init.d/nginx start
n2=`ps -C nginx --no-heading|wc -l`
if [ $n2 -eq "0" ]; then
echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
systemctl stop keepalived
fi
fi
给脚本755权限
systemctl start keepalived 128启动服务
用keepalived配置高可用
129上编辑配置文件，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf获取
global_defs {
notification_email {
aming@aminglinux.com
}
notification_email_from root@aminglinux.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_nginx {
script "/usr/local/sbin/check_ng.sh"
interval 3
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass aminglinux>com
}
virtual_ipaddress {
192.168.88.100
}
track_script {
chk_nginx
}
}
129上编辑监控脚本，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh获取
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
systemctl start nginx
n2=`ps -C nginx --no-heading|wc -l`
if [ $n2 -eq "0" ]; then
echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
systemctl stop keepalived
fi
fi
给脚本755权限
129上也启动服务 systemctl start keepalived
测试高可用：
先确定好两台机器上nginx差异，比如可以通过curl -I 来查看nginx版本
测试1：关闭master上的nginx服务
测试2：在master上增加iptabls规则
iptables -I OUTPUT -p vrrp -j DROP
测试3：关闭master上的keepalived服务 //即是master宕机了，自动切换到slave从机器上(访问192.168.88.100就会到backup从机器上)
测试4：启动master上的keepalived服务 //当启动master时候，即主恢复服务，vip会自动切换回到master机器上。
负载均衡集群介绍
主流开源软件LVS、keepalived、haproxy、nginx等
其中LVS属于4层（网络OSI 7层模型），nginx属于7层，haproxy既可以认为是4层，也可以当做7层使用
keepalived的负载均衡功能其实就是lvs
lvs这种4层的负载均衡是可以分发除80外的其他端口通信的，比如MySQL的，而nginx仅仅支持http，https，mail，haproxy也支持MySQL这种
相比较来说，LVS这种4层的更稳定，能承受更多的请求，而nginx这种7层的更加灵活，能实现更多的个性化需求
LVS：
LVS是由国人章文嵩开发
流行度不亚于apache的httpd，基于TCP/IP做的路由和转发，稳定性和效率很高
LVS最新版本基于Linux内核2.6，有好多年不更新了
LVS有三种常见的模式：NAT、DR、IP Tunnel
LVS架构中有一个核心角色叫做分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）
LVS的NAT模式：
这种模式借助iptables的nat表来实现
用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去
rs需要设定网关为分发器的内网ip
用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈
在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源
LVS IP Tunnel模式：
这种模式，需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip
客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上
rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己
LVS的DR模式：
这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip
和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址
rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己
LVS调度算法：
轮询 Round-Robin rr
加权轮询 Weight Round-Robin wrr
最小连接 Least-Connection lc
加权最小连接 Weight Least-Connection wlc
基于局部性的最小连接 Locality-Based Least Connections lblc
带复制的基于局部性最小连接 Locality-Based Least Connections with Replication lblcr
目标地址散列调度 Destination Hashing dh
源地址散列调度 Source Hashing sh
NAT模式的搭建：
三台机器
分发器，也叫调度器（简写为dir）
dir 内网：88.128，外网：72.129（vmware仅主机模式）
rs1
内网：88.129
rs2
内网：88.130
三台机器
分发器，也叫调度器（简写为dir）
内网：88.128，外网：72.129（vmware仅主机模式）
rs1
内网：88.129，设置网关为88.128 （设置网关后，要重启网卡 systemctl restart network）
rs2
内网：88.130，设置网关为88.128（设置网关后，要重启网卡 systemctl restart network）
三台机器上都执行执行
systemctl stop firewalld; systemc disable firewalld
systemctl start iptables-services; iptables -F; service iptables save (yum install -y iptables-services)
NAT模式的搭建：
在dir(192.168.88.128)上安装ipvsadm
yum install -y ipvsdam（在aming01安装这个yum install -y ipvsadm）
在dir上编写脚本，vim /usr/local/sbin/lvs_nat.sh//内容如下
#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，两个网卡分别为ens33和ens32
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens32/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.88.0/24 -j MASQUERADE
# director设置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.72.129:80 -s wlc rr ##（-p 3）
$IPVSADM -a -t 192.168.72.129:80 -r 192.168.88.129:80 -m -w 1
$IPVSADM -a -t 192.168.72.129:80 -r 192.168.88.130:80 -m -w 1
NAT模式效果测试
两台rs上都安装nginx
设置两台rs的主页，做一个区分，也就是说直接curl两台rs的ip时，得到不同的结果
浏览器里访问192.168.72.129，多访问几次看结果差异
小结：1、首先iptables的规则要保存对。 2. lvs_nat.sh的ip地址与主机信息要核对好。3、网关要设置好，然后重启.（否则curl的时候，只可以curl到设置了网关那一台机器，本人亲测只设置了aming02,然后curl 192.168.72.129的时候每次都是到aming02,curl链接到aming03的时候会超时）(适合小公司，10台机器左右的访问量)
DR模式搭建 – 准备工作:
三台机器
分发器，也叫调度器（简写为dir）
88.128
rs1
88.129
rs2
88.130
vip
88.200
DR模式的搭建：
dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.88.200
rs1=192.168.88.129
rs2=192.168.88.130
#注意这里的网卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下
#/bin/bash
vip=192.168.133.200
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
分别在dir上和两个rs上执行这些脚本
测试：
Keepalived+LVS DR
完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived
keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本
三台机器分别为：
dir（安装keepalived）88.128
rs1 88.129
rs2 88.130
vip 88.200
编辑keepalived配置文件 vim /etc/keepalived/keepalived.conf//内容请到https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/lvs_keepalived.conf 获取,需要更改里面的ip信息
如下：
vrrp_instance VI_1 {
#备用服务器上为 BACKUP
state MASTER
#绑定vip的网卡为ens33，你的网卡和阿铭的可能不一样，这里需要你改一下
interface ens33
virtual_router_id 51
#备用服务器上为90
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass aminglinux
}
virtual_ipaddress {
192.168.88.200
}
}
virtual_server 192.168.88.200 80 {
#(每隔10秒查询realserver状态)
delay_loop 10
#(lvs 算法)
lb_algo wlc
#(DR模式)
lb_kind DR
#(同一IP的连接60秒内被分配到同一台realserver)
persistence_timeout 60
#(用TCP协议检查realserver状态)
protocol TCP
real_server 192.168.88.129 80 {
#(权重)
weight 100
TCP_CHECK {
#(10秒无响应超时)
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.88.130 80 {
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
1.首先在dir(192.168.88.128）这台机器上编辑 vim /usr/local/sbin/lvs_dr.sh 增加如下内容：
#!/bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.88.200
rs1=192.168.88.129
rs2=192.168.88.130
#注意这里的网卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
2. 然后在2台rs机器上编辑vim /usr/local/sbin/lvs_dr.sh 增加如下内容：
#/bin/bash
vip=192.168.88.200
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
执行ipvsadm -C 把之前的ipvsadm规则清空掉
systemctl restart network 可以把之前的vip清空掉
两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本
keepalived有一个比较好的功能，可以在一台rs宕机时，不再把请求转发过去
测试
