文档章节

kubernetes(k8s)搭建实践

whaon
 whaon
发布于 2016/01/22 10:47
字数 2049
阅读 16866
收藏 132
点赞 11
评论 14

碎碎念

按网上有些文章的意思,之前k8s是有提供安装的版本,并且有yum源,但是看目前是不需要安装的,解压可用

官网地址:https://github.com/kubernetes/kubernetes

可以自己下载源码包进行编译,不过需要go的支持,而且在墙内的话会编译不过,原因是需要的镜像被墙了,所以直接下载release版本即可,地址:https://github.com/kubernetes/kubernetes/releases

笔者使用的是Release v1.2.0-alpha.6,这个包已经有496 MB之大了,而之前的Release v1.1.4版本才182M,可见更新之快,之多,笔者之前还使用过1.0.1版本,有些接口和参数就已经发生变化了,比如之前kubectl expose的参数public-ip,而现在改为externalIPs,所以大家实践时要根据自己的版本

环境说明:

2台机器,167和168,系统都是centos6.5

167上面会跑etcd,flannel,kube-apiserver,kube-controller-manager,kube-scheduler,自己也充当minion,所以也会跑kube-proxy和kubelet  

168上只需要跑etcd,flannel,kube-proxy和kubelet,etcd和flannel是为了打通2台机器的网络

k8s是建立在docker之上的,所以docker是必须的

环境搭建

打通网络

k8s还需要etcd和Flannel的支持,先下载这2个包,注意2台机器都需要下载和执行

wget https://github.com/coreos/etcd/releases/download/v2.2.4/etcd-v2.2.4-linux-amd64.tar.gz
wget https://github.com/coreos/flannel/releases/download/v0.5.5/flannel-0.5.5-linux-amd64.tar.gz
分别解压,然后添加到环境变量

cd etcd-v2.2.4-linux-amd64/
cp etcd etcdctl /usr/bin/
cd flannel-0.5.5/
cp flanneld mk-docker-opts.sh /usr/bin

运行

# 167上运行
etcd -name infra0 -initial-advertise-peer-urls http://172.16.48.167:2380 -listen-peer-urls http://172.16.48.167:2380 -listen-client-urls http://172.16.48.167:2379,http://127.0.0.1:2379 -advertise-client-urls http://172.16.48.167:2379  -discovery https://discovery.etcd.io/322a6b06081be6d4e89fd6db941c4add --data-dir /usr/local/kubernete_test/flanneldata  >> /usr/local/kubernete_test/logs/etcd.log 2>&1 &

# 168上运行
etcd -name infra1 -initial-advertise-peer-urls http://203.130.48.168:2380 -listen-peer-urls http://203.130.48.168:2380 -listen-client-urls http://203.130.48.168:2379,http://127.0.0.1:2379 -advertise-client-urls http://203.130.48.168:2379  -discovery https://discovery.etcd.io/322a6b06081be6d4e89fd6db941c4add   --data-dir /usr/local/kubernete_test/flanneldata  >> /usr/local/kubernete_test/logs/etcd.log 2>&1 &
注意中间的-discovery参数,这是个url地址,我们可以通过访问 https://discovery.etcd.io/new?size=2来获得,size表示minion的数目,我们这里是2,2台机器要用同一个url地址,如果访问这个地址,会发现返回一坨json字符串,这个服务器我们也是可以自己搭建的

这样就启动成功了,然后我们可以在任意一台机器上执行

etcdctl ls
etcdctl cluster-health
来确认已经成功启动,如果有错可以查看日志文件
tail -n 1000 -f /usr/local/kubernete_test/logs/etcd.log
然后在任一台机器上执行

etcdctl set /coreos.com/network/config '{ "Network": "172.17.0.0/16" }'

执行

[root@w ~]# etcdctl ls /coreos.com/network/subnets
/coreos.com/network/subnets/172.17.4.0-24
/coreos.com/network/subnets/172.17.13.0-24
[root@w ~]# etcdctl get /coreos.com/network/subnets/172.17.4.0-24
{"PublicIP":"203.130.48.168"}
[root@w ~]# etcdctl get /coreos.com/network/subnets/172.17.13.0-24
{"PublicIP":"203.130.48.167"}
可以看到167上的网段为172.17.4.13/24

168上的为172.17.14.0/24,我们后面建立的docker容器的IP就分别在这2个网段中

然后2台机器上分别执行

flanneld >> /usr/local/kubernete_test/logs/flanneld.log 2>&1 &
在每个机器上执行: 
mk-docker-opts.sh -i
source /run/flannel/subnet.env
rm /var/run/docker.pid
ifconfig docker0 ${FLANNEL_SUBNET}
然后重启docker

service docker restart
这样2台机器上的容器的网络就打通了,后续可以看到效果

安装和启动k8s

wget https://github.com/kubernetes/kubernetes/releases/download/v1.2.0-alpha.6/kubernetes.tar.gz
然后各种解压
tar zxvf kubernetes.tar.gz cd kubernetes/server
tar zxvf kubernetes-server-linux-amd64.tar.gz   # 这个是我们需要执行命令的包
cd kubernetes/server/bin/

复制命令到环境变量中,这里我只复制了kubectl

cp kubectl /usr/bin/

在167上执行 

./kube-apiserver --address=0.0.0.0  --insecure-port=8080 --service-cluster-ip-range='172.16.48.167/24' --log_dir=/usr/local/kubernete_test/logs/kube --kubelet_port=10250 --v=0 --logtostderr=false --etcd_servers=http://172.16.48.167:2379 --allow_privileged=false  >> /usr/local/kubernete_test/logs/kube-apiserver.log 2>&1 &

./kube-controller-manager  --v=0 --logtostderr=false --log_dir=/usr/local/kubernete_test/logs/kube --master=172.16.48.167:8080 >> /usr/local/kubernete_test/logs/kube-controller-manager 2>&1 &

./kube-scheduler  --master='172.16.48.167:8080' --v=0  --log_dir=/usr/local/kubernete_test/logs/kube  >> /usr/local/kubernete_test/logs/kube-scheduler.log 2>&1 &
这样就把master跑起来了,
[root@w ~]# kubectl get componentstatuses
NAME                 STATUS    MESSAGE              ERROR
scheduler            Healthy   ok                   
controller-manager   Healthy   ok                   
etcd-0               Healthy   {"health": "true"}   
etcd-1               Healthy   {"health": "true"}
我们可以看到都很健康的在运行

然后我们就阔以愉快的在2台机器上跑minion需要的程序了(注意167同时也是minion)

# 167
./kube-proxy  --logtostderr=false --v=0 --master=http://172.16.48.167:8080   >> /usr/local/kubernete_test/logs/kube-proxy.log 2>&1 &

./kubelet  --logtostderr=false --v=0 --allow-privileged=false  --log_dir=/usr/local/kubernete_test/logs/kube  --address=0.0.0.0  --port=10250  --hostname_override=172.16.48.167  --api_servers=http://172.16.48.167:8080   >> /usr/local/kubernete_test/logs/kube-kubelet.log 2>&1 &

# 168
./kube-proxy  --logtostderr=false --v=0 --master=http://172.16.48.167:8080   >> /usr/local/kubernete_test/logs/kube-proxy.log 2>&1 &

./kubelet  --logtostderr=false --v=0 --allow-privileged=false  --log_dir=/usr/local/kubernete_test/logs/kube  --address=0.0.0.0  --port=10250  --hostname_override=172.16.48.97  --api_servers=http://172.16.48.167:8080   >> /usr/local/kubernete_test/logs/kube-kubelet.log 2>&1 &
来确认启动成功
[root@w ~]# kubectl get nodes
NAME            LABELS                                 STATUS    AGE
172.16.48.167   kubernetes.io/hostname=172.16.48.167   Ready     1d
172.16.48.168   kubernetes.io/hostname=172.16.48.168   Ready     18h
2个minion都是Ready

提交命令

k8s支持2种方式,一种是直接通过命令参数的方式,另一种是通过配置文件的方式,配置文件的话支持json和yaml,下面只讲通过命令参数的方式

建立rc和pod

kubectl run nginx --image=nginx --port=80  --replicas=5
这样就建立了一个rc和5个pod

通过以下命令可以查看

kubectl get rc,pods
如果我们手工把建立的pod删掉,k8s会自动重新启动一个,始终确保pod的数目为5

跨机器间的通信

我们分别在167和168上用docker ps来查看,会发现2台机器上分别跑了一下nginx的容器,我们在2台机器上随意找一个容器进入,使用ip a来查看IP地址,会发现167上为172.17.13.0/24中,168为172.17.4.0/24中,我们分别ping对方的IP会发现是可以ping通的,说明网络已经通了,如果宿主机可以连上外网的话,在容器中也是可以访问外网的

如果我们不通过k8来启动容器,而是直接通过docker来启动容器,会发现启动的容器IP端也是在我们上述2个IP段之内的,并且和k8启动的容器的网络是互通的

当然IP端随机分配并且是内网的IP会给我们造成一些困扰

比如我们一般会这样做:通过docker启动容器,然后通过pipework来给其分配固定IP地址,既可以是内网IP也可以是外网IP,辣么,这样的话k8s启动的容器会和他们想通么

答案是通了一半,即通过k8s启动的容器是可以访问pipework设置的容器的内网IP和外网IP,但是反过来不行,pipework设置的容器是不能访问k8s启动的容器的,虽然是这样,但是不影响我们一般的需求,因为我们一般通过k8s启动的容器是web应用,通过pipework设置固定IP的是数据库之类,刚好可以满足从web应用访问数据库的需求

暴露service

kubectl expose rc nginx --port=80 --container-port=9090 --external-ip=x.x.x.168
port参数是容器的端口,因为nginx使用的80,所以这里必须是80

container-port和target-port是一个意思,指的是宿主机转发的端口,可以随意指定一个,也可以不指定

external-ip指的是对外暴露的ip地址,一般用公网IP地址,执行那个命令过后,我们就可以在公网上访问了,但是这里有个问题就是这个IP地址必须是安装了k8s的机器的IP,如果你随便用一个IP是不能访问的,这里也给应用上造成了不便

查看service

kubectl get svc

可以看到CLUSTER_IP和EXTERNAL_IP

后续的问题

如果用k8s做负载均衡的话,效率会怎样?怎么保持session?

由于现在k8s还不是很稳定,可能还不是很适合上生产环境

© 著作权归作者所有

共有 人打赏支持
whaon

whaon

粉丝 43
博文 38
码字总数 33114
作品 0
厦门
程序员
加载中

评论(14)

t
tomhat

引用来自“freemanalong”的评论

[root@mon2 ~]# etcdctl -v
etcdctl version 2.3.3
[root@mon2 ~]# etcdctl ls
/coreos.com
[root@mon2 ~]# etcdctl set /coreos.com/network/config '{ "Network": "172.17.0.0/16" }'
{ "Network": "172.17.0.0/16" }
[root@mon2 ~]# etcdctl ls /coreos.com/network/subnets
Error: 100: Key not found (/coreos.com/network/subnets) 18
有这样的错误,是为什么呢?

引用来自“笨鸟不想飞”的评论

我找到原因了,是因为在 etcd 之前要把 flannel 启动起来。博主写完 etcd 之后没有说要启动 flannel,我觉得问题可能出在这里。
启动flannel时报错
6月 25 17:37:13 localhost.localdomain flanneld-start[10930]: E0625 17:37:13.579941 10930 network.go:102] failed to re
如何解决??谢谢!!
t
tomrichdow
Docker+Kubernetes(k8s)微服务容器化实践
网盘地址:https://pan.baidu.com/s/1m5XmYZypLoDA_6g-C1jMVg 密码: 3yh5
备用地址(腾讯微云):https://share.weiyun.com/5ZcsfIX 密码:udrifz

Docker官方支持Kubernetes, Kubernetes是容器编排最大赢家,Kubernetes 以其高效、简便、高水平的可移植性等优势占领了绝大部分市场,江湖一哥地位毋庸置疑,脱胎于谷歌的成熟的Borg,围绕Kubernetes的生态正不断完善容器编排Kubernetes是最有未来的,要学就学它!

掌握传统服务和微服务都适用的Docker化思路
学会Docker私有仓库如何准备
重点讲解Kubernetes,同时对比讲解Mesos, Swarm
把Kubernetes剥离出三部分:核心模块,服务发
现模块和认证授权,逐步精讲

第1章 初识微服务
第2章 微服务带来的问题及解决方案分析
第3章 微服务开发
第4章 服务编排前奏
第5章 服务编排-Mesos
第6章 服务编排-DockerSwarm
第7章 服务编排-Kubernetes
第8章 CICD和DevOps
第9章 课程总结
笨鸟不想飞
笨鸟不想飞

引用来自“freemanalong”的评论

[root@mon2 ~]# etcdctl -v
etcdctl version 2.3.3
[root@mon2 ~]# etcdctl ls
/coreos.com
[root@mon2 ~]# etcdctl set /coreos.com/network/config '{ "Network": "172.17.0.0/16" }'
{ "Network": "172.17.0.0/16" }
[root@mon2 ~]# etcdctl ls /coreos.com/network/subnets
Error: 100: Key not found (/coreos.com/network/subnets) 18
有这样的错误,是为什么呢?
我找到原因了,是因为在 etcd 之前要把 flannel 启动起来。博主写完 etcd 之后没有说要启动 flannel,我觉得问题可能出在这里。
笨鸟不想飞
笨鸟不想飞

引用来自“freemanalong”的评论

[root@mon2 ~]# etcdctl -v
etcdctl version 2.3.3
[root@mon2 ~]# etcdctl ls
/coreos.com
[root@mon2 ~]# etcdctl set /coreos.com/network/config '{ "Network": "172.17.0.0/16" }'
{ "Network": "172.17.0.0/16" }
[root@mon2 ~]# etcdctl ls /coreos.com/network/subnets
Error: 100: Key not found (/coreos.com/network/subnets) 18
有这样的错误,是为什么呢?
我找到原因了,是因为在 etcd 之前要把 flannel 启动起来。博主写完 etcd 之后没有说要启动 flannel,我觉得问题可能出在这里。
12叔
12叔
kubectl run nginx --image=nginx --port=80 --replicas=5

这个创建的 nginx 的咋删除啊。。
freemanalong
freemanalong
我的etcd是这么运行的:
./etcd \
--name="etcd01" \
--data-dir="/usr/local/kubernete_test/flanneldata" \
--listen-peer-urls="http://10.50.18.53:2380" \
--listen-client-urls="http://10.50.18.53:2379,http://127.0.0.1:2379" \
--initial-advertise-peer-urls http://10.50.18.53:2380 \
--advertise-client-urls="http://10.50.18.53:2379" \
--initial-cluster-token="etcd-cluster-00" \
--initial-cluster="etcd01=http://10.50.18.53:2380,etcd02=http://10.50.18.54:2380,etcd03=http://10.50.18.55:2380" \
--initial-cluster-state="new" >> /usr/local/kubernete_test/logs/etcd.log 2>&1 &
freemanalong
freemanalong
[root@mon2 ~]# etcdctl -v
etcdctl version 2.3.3
[root@mon2 ~]# etcdctl ls
/coreos.com
[root@mon2 ~]# etcdctl set /coreos.com/network/config '{ "Network": "172.17.0.0/16" }'
{ "Network": "172.17.0.0/16" }
[root@mon2 ~]# etcdctl ls /coreos.com/network/subnets
Error: 100: Key not found (/coreos.com/network/subnets) 18
有这样的错误,是为什么呢?
满满李
满满李
已收藏
uaisunshine
uaisunshine
才1.0多的版本,不敢用,坐等谷歌满满升级
Frank_321
Frank_321
11121271011[12][12][12]
kubernetes集群命令行部署微服务项目实践

本文基于前一篇 : CentOS7搭建kubernetes集群环境 搭建好的环境下, 进一步做服务化部署实践记录,便于大家学习K8S部署微服务的过程,同时也方便自己复习K8S的技术点。 搭建好的环境如下...

xiejunbo
02/14
1
0
利用K8S技术栈打造个人私有云(连载之:初章)

本文原载于个人微信公众号 CodeSheep,欢迎订阅 ↓↓↓ 我的想法是什么 最近在学习Docker技术,相信Docker技术大家都有所了解,Docker类似于虚拟机(但与虚拟机又有本质不同),提供进程级别...

CodeSheep
01/24
0
0
【干货PPT分享】时速云Docker&Kubernetes技术沙龙【上海站&杭州站】

7月30日~7月31日,时速云走进上海和杭州,继前四期时速云Docker&Kubernetes技术沙龙顺利举办以来,受到了越来越多创业者、开发者,以及大型云计算厂商的青睐,报名的小伙伴热情高涨,炎炎夏日...

时速云
2016/08/04
1
0
【干货PPT分享】时速云Docker&Kubernetes技术沙龙【上海站&杭州站】

7月30日~7月31日,时速云走进上海和杭州,继前四期时速云Docker&Kubernetes技术沙龙顺利举办以来,受到了越来越多创业者、开发者,以及大型云计算厂商的青睐,报名的小伙伴热情高涨,炎炎夏日...

时速云
2016/08/04
209
0
容器服务K8S vs 自建K8S 区别

吃力不讨好,自建 K8S 很辛苦 首先先分享自建 K8S 会遇到的几个痛苦场景: case 1:新版本很性感,升级 or 不升级,这是个问题 K8S 是很活跃开源项目,更新很快,每次新版本都有让人眼前一亮的...

木环
05/04
0
0
Kubernetes杭州集市干货大起底,你get了吗?

2018年3月31日,在美丽的西子湖畔,CNCF Meetup——Kubernetes GeekGathering 2018杭州站与众多新朋老友如约相会,此次技术集会由K8S技术社区、EasyStack、网易云联合主办,谐云科技、网银互...

k8scaptain
04/20
0
0
阿里云容器服务K8S Ingress Controller日志采集实践

在 Kubernetes Ingress 高可靠部署最佳实践 中从部署层面介绍了在Kubernetes集群中如何部署一套高可靠的Ingress接入层,同时Ingress作为所有集群服务请求的入口,其记录的请求日志对于整个请...

chenqz
05/22
0
0
利用K8S技术栈打造个人私有云(连载之:K8S资源控制)

本文原载于个人微信公众号 CodeSheep,欢迎订阅 ↓↓↓ 【利用K8S技术栈打造个人私有云系列文章目录】 利用K8S技术栈打造个人私有云(连载之:初章) 利用K8S技术栈打造个人私有云(连载之:...

CodeSheep
03/05
0
2
git-jenkins-k8s构建tomcat项目实践

相关环境(部署安装略。。。): jenkins 安装 k8s 集群环境部署 docker 私有仓库搭建 jenkins 创建项目 Execute shell 构建docker镜像上传到私有仓库,以构建时间做版本命名; dockerfile 内...

jiangxianliang
01/12
0
0
[5.19 线下活动]Docker Meetup杭州站—拥抱Kubernetes,容器深度实践

对本次线下活动感兴趣的朋友,欢迎点击此处报名,领取免费票。 今年3月,Docker刚刚过完5岁生日,五年期间,Docker也逐渐在技术和实践方面趋于成熟,更是在去年年底主动拥抱Kubernetes。 5月...

wangyiyungw
05/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

SpringBoot | 第十章:Swagger2的集成和使用

前言 前一章节介绍了mybatisPlus的集成和简单使用,本章节开始接着上一章节的用户表,进行Swagger2的集成。现在都奉行前后端分离开发和微服务大行其道,分微服务及前后端分离后,前后端开发的...

oKong
今天
2
0
Python 最小二乘法 拟合 二次曲线

Python 二次拟合 随机生成数据,并且加上噪声干扰 构造需要拟合的函数形式,使用最小二乘法进行拟合 输出拟合后的参数 将拟合后的函数与原始数据绘图后进行对比 import numpy as npimport...

阿豪boy
今天
1
0
云拿 无人便利店

附近(上海市-航南路)开了家无人便利店.特意进去体验了一下.下面把自己看到的跟大家分享下. 经得现场工作人员同意后拍了几张照片.从外面看是这样.店门口的指导里强调:不要一次扫码多个人进入....

周翔
昨天
1
0
Java设计模式学习之工厂模式

在Java(或者叫做面向对象语言)的世界中,工厂模式被广泛应用于项目中,也许你并没有听说过,不过也许你已经在使用了。 简单来说,工厂模式的出现源于增加程序序的可扩展性,降低耦合度。之...

路小磊
昨天
158
1
npm profile 新功能介绍

转载地址 npm profile 新功能介绍 npm新版本新推来一个功能,npm profile,这个可以更改自己简介信息的命令,以后可以不用去登录网站来修改自己的简介了 具体的这个功能的支持大概是在6这个版...

durban
昨天
1
0
Serial2Ethernet Bi-redirection

Serial Tool Serial Tool is a utility for developing serial communications, custom protocols or device testing. You can set up bytes to send accordingly to your protocol and save......

zungyiu
昨天
1
0
python里求解物理学上的双弹簧质能系统

物理的模型如下: 在这个系统里有两个物体,它们的质量分别是m1和m2,被两个弹簧连接在一起,伸缩系统为k1和k2,左端固定。假定没有外力时,两个弹簧的长度为L1和L2。 由于两物体有重力,那么...

wangxuwei
昨天
0
0
apolloxlua 介绍

##项目介绍 apolloxlua 目前支持javascript到lua的翻译。可以在openresty和luajit里使用。这个工具分为两种模式, 一种是web模式,可以通过网页使用。另外一种是tool模式, 通常作为大规模翻...

钟元OSS
昨天
2
0
Mybatis入门

简介: 定义:Mybatis是一个支持普通SQL查询、存储过程和高级映射的持久层框架。 途径:MyBatis通过XML文件或者注解的形式配置映射,实现数据库查询。 特性:动态SQL语句。 文件结构:Mybat...

霍淇滨
昨天
2
0
开发技术瓶颈期,如何突破

前言 读书、学习的那些事情,以前我也陆续叨叨了不少,但总觉得 “学习方法” 就是一个永远在路上的话题。个人的能力、经验积累与习惯方法不尽相同,而且一篇文章甚至一本书都很难将学习方法...

_小迷糊
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部