文档章节

rancher 2.2.X HA 部署K8S

Elson
 Elson
发布于 05/17 20:24
字数 3233
阅读 387
收藏 7

介绍

本文主要目的在于记录rancher ha集群搭建步骤,内容包括系统配置、docker安装、k8s安装、rancher ha安装等。

服务器环境信息:

节点名称 IP OS 安装软件
Master 192.168.100.22 Centos7.6 nginx
Node1 192.168.100.31 Centos7.6 etcd, docker, k8s
Node2 192.168.100.32 Centos7.6 etcd, docker, k8s
Node3 192.168.100.33 Centos7.6 etcd, docker, k8s

环境设置

操作系统文件限制

vi /etc/security/limits.conf
在文件末尾添加以下内容:

1
2
3
4
root soft nofile 655350
root hard nofile 655350
* soft nofile 655350
* hard nofile 655350

 

关闭防火墙

1
2
systemctl stop firewalld
systemctl disable firewalld

关闭setlinx

SELINUX值设置为disabled:

1
2
vim /etc/selinux/config
SELINUX=disabled

 

关闭swap

注释或删除swap交换分区:vi /etc/fstab

1
2
3
4
5
6
7
8
9
10
11
#
# /etc/fstab
# Created by anaconda on Fri Jun  2 14:11:50 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=f5b4435a-77bc-48f4-8d22-6fa55e9e04a2 /boot                   xfs     defaults        0 0
/dev/mapper/centos-grid0 /grid0                  xfs     defaults        0 0
#/dev/mapper/centos-swap swap                    swap    defaults        0 0

 

临时关闭:

1
swapoff -a

 

kernel调优

添加如下内容,vi /etc/sysctl.conf:

1
2
3
4
5
net.ipv4.ip_forward=1
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
vm.swappiness=0
vm.max_map_count=655360

 

docker安装

rke工具目前只支持docker v17.03.2,请务必保持版本一致,否则后续安装会报错。

1、安装repo源:

1
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

 

卸载旧docker版本:

1
2
3
4
5
6
7
8
9
10
11
yum remove -y docker \
              docker-client \
              docker-client-latest \
              docker-common \
              docker-latest \
              docker-latest-logrotate \
              docker-logrotate \
              docker-selinux \
              docker-engine-selinux \
              docker-engine \
              container*

 

2、安装自定义版本

1
export docker_version=17.03.2

 

3、安装必要的一些系统工具

1
yum install -y yum-utils device-mapper-persistent-data lvm2 bash-completion

 

4、添加软件源信息

1
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

 

5、安装docker-ce

1
2
version=$(yum list docker-ce.x86_64 --showduplicates | sort -r|grep ${docker_version}|awk '{print $2}')
yum -y install --setopt=obsoletes=0 docker-ce-${version} docker-ce-selinux-${version}

 

6、开机自启动

1
systemctl enable docker

 

7、添加国内加速代理,设置storage-driver
vi /etc/docker/daemon.json

{
        "max-concurrent-downloads": 3,
        "max-concurrent-uploads": 5,
        "registry-mirrors": ["https://oegbalmw.mirror.aliyuncs.com"],
        "insecure-registries":["192.168.0.253:5000"],
        "storage-driver": "overlay2",
        "storage-opts": ["overlay2.override_kernel_check=true"],
        "log-driver": "json-file",
        "log-opts": {
            "max-size": "100m",
            "max-file": "3"
        }
}

######

容器在运行时会产生大量日志文件,很容易占满磁盘空间。通过配置日志驱动来限制文件大小与文件的数量。 >限制单个日志文件为100M,最多产生3个日志文件
-------------

配置Docker存储驱动

存储驱动有很多种,例如:overlay、overlay2、devicemapper等,前两者是OverlayFS类型的,是一个新一代的联合文件系统,类似于AUFS,但速度更快,更加稳定。这里推荐新版的overlay2。

要求:

overlay2: Linux内核版本4.0或更高版本,或使用内核版本3.10.0-514+的RHEL或CentOS
支持的磁盘文件系统:ext4(仅限RHEL 7.1),xfs(RHEL7.2及更高版本),需要启用d_type=true

 

8、重启docker

1
systemctl restart docker

 

创建用户

创建用户并且添加到docker组:

1
useradd rancher -G docker

 

修改hosts(所有节点)

vi /etc/hosts

192.168.100.31 k8s-node1
192.168.100.32 k8s-node2
192.168.100.33 k8s-node3

ssh免密登录(centos7 系统需要手工用rancher用户去创建authorized_keys,且包含所有节点密钥再里面,Ubuntu则不用这样)

在31-33服务器上执行下面命令:

1
2
3
4
5
#在所有节点主机上执行
su - rancher
ssh-keygen -t rsa ##一直回车键就好
再免密登录机器上执行以下
ssh-copy-id -i .ssh/id_rsa.pub rancher@192.168.100.31
ssh-copy-id -i .ssh/id_rsa.pub rancher@192.168.100.32
ssh-copy-id -i .ssh/id_rsa.pub rancher@192.168.100.33

 

可能root用户也需要ssh免密登录,命令参考:

1
2
3
4
5
su - root
ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.100.31
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.100.32
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.100.33

把非root用户加入docker用户组

sudo usermod -aG docker rancher
sudo systemctl restart docker
sudo chmod a+rw /var/run/docker.sock

注:USERNAME填写自己的用户名 
注:因为CentOS的安全限制,通过RKE安装K8S集群时候无法使用root账户。所以,建议CentOS用户使用非root用户来运行docker

nginx安装

在192.168.100.22服务器上安装nginx用户rancher-server负载均衡。

安装nginx:

1
2
3
sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
yum install nginx -y
sudo systemctl enable nginx.service #设置开机启动

 

修改配置文件:vim /etc/nginx/nginx.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
user nginx;
worker_processes 4;
worker_rlimit_nofile 40000;

events {
    worker_connections 8192;
}

http {
    # Gzip Settings
    gzip on;
    gzip_disable "msie6";
    gzip_disable "MSIE [1-6]\.(?!.*SV1)";
    gzip_vary on;
    gzip_static on;
    gzip_proxied any;
    gzip_min_length 0;
    gzip_comp_level 8;
    gzip_buffers 16 8k;
    gzip_http_version 1.1;
    gzip_types text/xml application/xml application/atom+xml application/rss+xml application/xhtml+xml image/svg+xml application/font-woff text/javascript application/javascript application/x-javascript text/x-json application/json application/x-web-app-manifest+json text/css text/plain text/x-component font/opentype application/x-font-ttf application/vnd.ms-fontobject font/woff2 image/x-icon image/png image/jpeg;

    server {
        listen         80;
        return 301 https://$host$request_uri;
    }
}

stream {
    upstream rancher_servers {
        least_conn;
        server 192.168.100.31:443 max_fails=3 fail_timeout=5s;
        server 192.168.100.32:443 max_fails=3 fail_timeout=5s;
        server 192.168.100.33:443 max_fails=3 fail_timeout=5s;
    }
    server {
        listen     443;
        proxy_pass rancher_servers;
    }
}

 

启动nginx:

1
sudo systemctl restart nginx.service

 

Rancher集群部署

安装必要工具

在192.168.100.31服务器上进行下面操作。
安装rke:

1
2
3
4
su root
wget https://github.com/rancher/rke/releases/download/v0.1.18/rke_linux-amd64
chmod +x rke_linux-amd64
mv rke_linux-amd64 /usr/bin/rke

 

安装kubectl:

1
2
3
wget https://storage.googleapis.com/kubernetes-release/release/v1.14.0/bin/linux/amd64/kubectl
# 需要翻墙下载
chmod +x kubectl_amd64-linux
mv kubectl_amd64-linux /usr/bin/kubectl

 

安装helm:

1
2
3
4
5
wget https://storage.googleapis.com/kubernetes-helm/helm-v2.11.0-linux-amd64.tar.gz
tar zxvf helm-v2.11.0-linux-amd64.tar.gz
mv linux-amd64/helm /usr/bin/helm
mv linux-amd64/tiller /usr/bin/tiller
rm -rf helm-v2.11.0-linux-amd64.tar.gz linux-amd64/

 

其它工具下载地址:https://www.cnrancher.com/docs/rancher/v2.x/cn/installation/download/

 

安装k8s

1、切换到rancher用户

1
su - rancher

 

2、创建rancher集群配置文件:
vi rancher-cluster.yml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
nodes:
  - address: 192.168.100.31
    user: rancher
    role: [controlplane,worker,etcd]
  - address: 192.168.100.32
    user: rancher
    role: [controlplane,worker,etcd]
  - address: 192.168.100.33
    user: rancher
    role: [controlplane,worker,etcd]

services:
  etcd:
    snapshot: true
    creation: 6h
    retention: 24h

 

如果之前操作失败,重新安装需要清理数据:

1
2
3
4
5
su - root
rm -rf /var/lib/rancher/etcd/*
rm -rf /etc/kubernetes/*
su - rancher
rke remove --config ./rancher-cluster.yml

 

3、启动集群

1
rke up --config ./rancher-cluster.yml

 

这里有跳坑资料 http://www.eryajf.net/2675.html

完成后,它应显示:Finished building Kubernetes cluster successfully。

4、配置环境变量:
切换到root用户su - root

vi /etc/profile

1
export KUBECONFIG=/home/rancher/kube_config_rancher-cluster.yml

 

保存,并执行:

1
source /etc/profile

 

5、通过kubectl测试您的连接,并查看您的所有节点是否处于Ready状态

1
2
3
4
5
[rancher@bigman-s1 ~]$ kubectl get nodes
NAME             STATUS   ROLES                      AGE   VERSION
192.168.100.31   Ready    controlplane,etcd,worker   3m    v1.11.6
192.168.100.32   Ready    controlplane,etcd,worker   3m    v1.11.6
192.168.100.33   Ready    controlplane,etcd,worker   3m    v1.11.6

 

由于需要联网下载docker镜像文件,所以需要一段时间才能安装好,10-30分钟左右。

6、检查集群Pod的运行状况

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[rancher@bigman-s1 ~]$ kubectl get pods --all-namespaces
NAMESPACE       NAME                                      READY   STATUS      RESTARTS   AGE
ingress-nginx   default-http-backend-797c5bc547-z4gj5     1/1     Running     0          3m
ingress-nginx   nginx-ingress-controller-bvgxm            1/1     Running     0          3m
ingress-nginx   nginx-ingress-controller-rjrss            1/1     Running     0          3m
ingress-nginx   nginx-ingress-controller-z5nmf            1/1     Running     0          3m
kube-system     canal-cwb9g                               3/3     Running     0          4m
kube-system     canal-lnvmt                               3/3     Running     0          4m
kube-system     canal-xfft6                               3/3     Running     0          4m
kube-system     kube-dns-7588d5b5f5-5lql6                 3/3     Running     0          4m
kube-system     kube-dns-autoscaler-5db9bbb766-qlskd      1/1     Running     0          4m
kube-system     metrics-server-97bc649d5-vx7p7            1/1     Running     0          4m
kube-system     rke-ingress-controller-deploy-job-ghz5d   0/1     Completed   0          3m
kube-system     rke-kubedns-addon-deploy-job-snkfq        0/1     Completed   0          4m
kube-system     rke-metrics-addon-deploy-job-kzlwb        0/1     Completed   0          4m
kube-system     rke-network-plugin-deploy-job-4f8ms       0/1     Completed   0          4m

 

保存kube_config_rancher-cluster.yml和rancher-cluster.yml文件的副本,您将需要这些文件来维护和升级Rancher实例。

Helm

使用Helm在集群上安装tiller服务以管理charts,由于RKE默认启用RBAC, 因此我们需要使用kubectl来创建一个serviceaccount,clusterrolebinding才能让tiller具有部署到集群的权限。

1、在kube-system命名空间中创建ServiceAccount:

1
kubectl -n kube-system create serviceaccount tiller

 

2、创建ClusterRoleBinding以授予tiller帐户对集群的访问权限:

1
kubectl create clusterrolebinding tiller --clusterrole cluster-admin --serviceaccount=kube-system:tiller

 

3、安装Helm Server(Tiller)

1
helm init --service-account tiller   --tiller-image registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.12.0 --stable-repo-url https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

 

4、安装Tiller金丝雀版本

1
helm init --service-account tiller --canary-image

 

需要修改成国内镜像(可能需要delete再重新init)

1
2
export TILLER_TAG=v2.12.0 ;
kubectl --namespace=kube-system set image deployments/tiller-deploy tiller=hongxiaolu/tiller:$TILLER_TAG

 

helm安装rancher

添加Chart仓库地址

使用helm repo add命令添加Rancher chart仓库地址,访问Rancher tag和Chart版本
替换为您要使用的Helm仓库分支(即latest或stable)。

1
helm repo add rancher-stable https://releases.rancher.com/server-charts/stable

 

安装证书管理器

1、只有Rancher自动生成的证书和LetsEncrypt颁发的证书才需要cert-manager。如果是你自己的证书,可使用ingress.tls.source=secret参数指定证书,并跳过此步骤。

1
2
3
helm install stable/cert-manager \
  --name cert-manager \
  --namespace kube-system

 

Rancher自动生成证书
默认情况下,Rancher会自动生成CA根证书并使用cert-manager颁发证书以访问Rancher server界面。
唯一的要求是将hostname配置为访问Rancher的域名地址,使用这种SSL证书配置方式需提前安装证书管理器。

1
2
3
4
helm install rancher-stable/rancher \
  --name rancher \
  --namespace cattle-system \
  --set hostname=hi.rancher.cn

 

hi.rancher.cn就是后面访问rancher的域名,需要在/etc/hosts文件中添加关联(所有主机):

vi /etc/hosts

1
192.168.100.22 hi.rancher.cn

 

由于我们通过hosts文件来添加映射,所以需要为Agent Pod添加主机别名(/etc/hosts):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
kubectl -n cattle-system patch  deployments cattle-cluster-agent --patch '{
    "spec": {
        "template": {
            "spec": {
                "hostAliases": [
                    {
                        "hostnames":
                        [
                            "hi.rancher.cn"
                        ],
                            "ip": "192.168.100.22"
                    }
                ]
            }
        }
    }
}'

这一步如果马上执行,可能会报错:Error from server (NotFound): deployments.extensions "cattle-cluster-agent" not found,这个deployment是上一步install时创建的,比较慢,耐心等待一下,这个时候也可以先跳过这里,去到后边,简单配置一下,访问一下rancher的界面。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
kubectl -n cattle-system patch  daemonsets cattle-node-agent --patch '{
    "spec": {
        "template": {
            "spec": {
                "hostAliases": [
                    {
                        "hostnames":
                        [
                            "hi.rancher.cn"
                        ],
                            "ip": "192.168.100.22"
                    }
                ]
            }
        }
    }
}'

登录rancher管理端

1、需要在/etc/hosts文件中添加关联(所有主机):
vi /etc/hosts

1
192.168.100.22 hi.rancher.cn

 

2、使用域名登录https://hi.rancher.cn

rancher

输入:admin/admin,设置用户密码。

3、登录之后,此时可以看到已经创建好的k8s集群

rancher

刚进入,会看到一个问题。

报这个问题的原因就是刚刚创建的cattle-cluster-agent还没有被创建成功,同样耐心等待即可。这个时候可以随便点点看看先。这个过程与自己的网络有关,这时也可以在node1主机上,通过如下命令进行一个监控。

在我这里,等了十分钟左右,才开始正式的部署。这个时候,可以返回到上边,将那两条命令导入进去。

操作之后,然后再看rancher,就不会报连接问题了。

到这里,基本上安装步骤也就完成了,可以随便点点看看界面里边的各项功能什么的。

安装rancher-cli

1、下载rancher-cli工具

1
2
wget https://releases.rancher.com/cli2/v2.0.6/rancher-linux-amd64-v2.0.6.tar.gz
tar zxvf rancher-linux-amd64-v2.0.6.tar.gz

 

2、配置变量

1
2
mv rancher-v2.0.6/rancher /usr/bin/rancher
rm -rf rancher-v2.0.6/

 

3、测试登录

新建用户获取tonken:
rancher-key

使用创建好的用户token登录:

1
rancher login https://hi.rancher.cn/v3  --token token-jpf2f:sjmptntdn6k7rf9mqz7k7c9w77q6pfxmxmr7fvtdjwswbprpjhzvq8

 

其它帮助

docker xfs type问题

在运行docker info 命令时,如果你的文件系统使用了xfs,那么Docker会检测ftype的值,如果ftype=0,那么会有警告出现。
具体警告如下:

1
2
3
WARNING: overlay: the backing xfs filesystem is formatted without d_type support, which leads to incorrect behavior.
Reformat the filesystem with ftype=1 to enable d_type support.
Running without d_type support will not be supported in future releases.

 

这个问题需要解决,否则后续容器会出现异常退出等情况,具体docker为什么这么关系ftype值,可以去百度或者查阅官方文档。

由于docker默认是安装在系统盘的,那么重新格式化分区并挂盘肯定是行不通的,我这边环境正好还有多余的盘,所以讲docker切换到新的分区,并将分区参数调成成ftype=1。

1、查看分区信息

1
2
3
4
5
6
7
8
[root@bigman-s1 ~]# df
文件系统                     1K-块     已用       可用 已用% 挂载点
devtmpfs                  32858088        0   32858088    0% /dev
tmpfs                     32871880        8   32871872    1% /dev/shm
tmpfs                     32871880    61024   32810856    1% /run
tmpfs                     32871880        0   32871880    0% /sys/fs/cgroup
/dev/mapper/centos-root  598661528 81105212  517556316   14% /
/dev/mapper/centos-grid0 1227397576 66398088 1160999488    6% /grid0

 

2、重新格式化磁盘(注意备份数据

1
2
3
4
umount /dev/mapper/centos-grid0
mkfs.xfs -n ftype=1 -f /dev/mapper/centos-grid0
mount /dev/mapper/centos-grid0 /grid0
xfs_info  /grid0

 

3、修改docker数据目录
vi /usr/lib/systemd/system/docker.service

1
ExecStart=/usr/bin/dockerd --graph /grid0/docker

 

4、修改docker storage-driver驱动

1
2
3
4
5
6
7
{
  "registry-mirrors": ["https://39r65dar.mirror.aliyuncs.com"],
    "storage-driver": "overlay2",
    "storage-opts": [
    "overlay2.override_kernel_check=true"
    ]
}

 

5、重启docker

1
2
3
4
5
systemctl disable docker
systemctl enable docker
systemctl daemon-reload
systemctl restart docker
docker info

 

docker本地仓库

1、启动本地仓库服务:

1
docker run -d -p 5000:5000 --restart=always --name registry registry:2

 

2、修改配置
vi /etc/docker/daemon.json

1
2
3
4
5
6
7
8
{
  "registry-mirrors": ["https://39r65dar.mirror.aliyuncs.com","http://192.168.100.21:5000"],
    "storage-driver": "overlay2",
    "storage-opts": [
    "overlay2.override_kernel_check=true"
    ],
    "insecure-registries" : ["192.168.100.21:5000"]
}

 

参考资料:

http://www.eryajf.net/2723.html

http://www.eryajf.net/category/%E6%9C%AF%E4%B8%9A%E4%B8%93%E6%94%BB/%E4%BA%91%E8%AE%A1%E7%AE%97/rancher

© 著作权归作者所有

Elson
粉丝 15
博文 79
码字总数 52525
作品 0
广州
私信 提问
重要提醒 | 手动轮换Rancher Kubernetes集群的证书

在Rancher 2.0和2.1中,Rancher配置集群的自动生成证书的有效期为1年,本文将为您详细介绍如何轮换证书,即使您的证书已经过期也可从文章中获得具体的操作指南。 Kubernetes集群通常使用ssl...

RancherLabs
07/01
40
0
Rancher 2.2.5 发布,支持 K8S 1.15

Rancher 2.2.5 发布了。Rancher 是一个开源的企业级 Kubernetes 平台,可以管理所有云上、所有发行版、所有 Kubernetes集群,解决了生产环境中企业用户可能面临的基础设施不同的困境,改善 ...

oschina
07/17
1K
2
Rancher Labs赋能合作伙伴抢滩容器市场

开源平台 全球部署 Rancher自发布至今已经有超过8000万次的下载量,全球活动部署数量已超过15000个节点,在全球拥有数百家大中型政府及企业客户,用户广泛分布于互联网行业、金融行业(银行、...

RancherLabs
2018/02/05
0
0
Rancher 2.2.8 发布,支持 K8S 新 CVE 的补丁版本

北京时间 8 月 20 日,Kubernetes 发布了新的补丁版本来修复近期的两个安全漏洞(CVE-2019-9512 和 CVE-2019-9514)。Rancher 在翌日凌晨发布最新版本 Rancher v2.2.8,支持 Kubernetes 新版...

xplanet
08/23
991
0
Rancher 2.0 的第一印象

如果你最近对容器领域有所关注的话,想必你已经发现了,最近这段时间里,与Kubernetes相关的技术在快速、大量地涌现。因此,再增加一个,可能也不会让人有多新奇。不过,Rancher近期发布的新...

RancherLabs
2017/10/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

用 4G 工作是什么体验

七月开始,因为工作原因,在公司附近租了个住处,方便工作。离公司近了,感觉就是不一样,之前每天 5:30 就要起床赶地铁,现在可以睡到自然醒,一看才 7 点,悠闲的起床洗漱,踱步到公司,都...

zzxworld
39分钟前
5
0
sonar报错volatile

问题发生 原先代码如下: //认证授权码private static volatile String AUTHORIZATION_CODE = "init"; git push 之后,sonar认为这是个bug检测报告截图如下: 分析排查 解释说明: Markin...

开源小菜鸟2333
44分钟前
4
0
《Java实践指南》--读后

闲读《Java实践指南》... 1.lvy 某些项目中能够看到ivy.xml。早期使用ant的项目中,常常用ivy.xml来下载项目依赖。 2.ant 作为java程序员,应该都知道ant,虽然可能用过的人不多。为什么ant...

RippleChan
45分钟前
4
0
前端:固定表格(table)表头的实现方式

在写插件 bootstrap table 的时候,当数据过多的时候,需要对表格的 thead 进行固定,然后滚动表格的 tbody 。但是在实际的操作上,花了很多的时间在这个问题上,到现在也没有找到完美的解决...

前端老手
47分钟前
6
0
第五章 spring-connet之AnnotationConfigUtils

前言 AnnotatedBeanDefinitionReader是AnnctionConfig相关上下文与AnnotationConfigUtils的桥梁。还有一个作用是解析class成为BeanDefinitionHolder,注册到容器里面。AnnotationConfigUtils...

鸟菜啊
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部