文档章节

Kube-OVN:基于OVN的开源Kubernetes网络实践

灵雀云Alauda
 灵雀云Alauda
发布于 2019/05/17 15:57
字数 2908
阅读 5.6K
收藏 45

文/灵雀云刘梦馨

 

今天,许多企业开始运行Kubernetes集群,并从中受益。但我们仍然不得不承认,Kubernetes底层实现非常复杂,这其中一个最复杂,就是网络相关的部件。

Kube-OVN开源网络插件诞生初衷

从当前Kubernetes网络现状来看,Kubernetes 网络相关的组件非常分散。比如,CNI 负责基础容器网络,它本身只是个接口标准,社区和市场上都有很多各自的实现;集群内的服务发现网络需要依赖 kube-proxy,而 kube-proxy 又有 iptables 和 ipvs 两种实现;集群内的 DNS 需要依赖额外组件kube-dns 或coredns;集群对外访问的负载均衡器服务需要依赖各个云厂商提供的Cloud-Provider;网络策略的 NetworkPolicy 本身只是一个标准接口,社区中也有各自不同的实现。此外还有 ingress,Kubernetes提供的只是一个标准接口,社区中同样有各自的实现。

分散的网络组件导致容器网络流量被分散到了不同的网络组件上,一旦出现问题需要在多个组件间游走逐个排查。在实际运维过程中网络问题通常是最难排查的,需要维护人员掌握全链路上所有组件的使用、原理以及排查方式。因此,如果有一个网络方案能够将所有数据平面统一,那么出现问题时只需要排查一个组件即可。

其次,现有网络插件种类繁多,但是在落地时会发现,每个网络插件由于覆盖的功能集合不同,很难在所有场景使用同一套方案。为了满足不同的客户需求,很多厂商一度同时支持多种网络方案,给自身带来很大负担。在落地过程中,还发现很多传统的网络方案在容器网络中是缺失的。一些高级功能是所有网络插件都无法满足的,比如:子网划分、vlan 绑定、nat、qos、固定 IP、基于acl的网络策略等等。

现有 Kubernetes网络能力是否足够?答案很明显,如果真的已经足够强大,落地的时候就不会出现这么多的问题。从更大的格局来看,Kubernetes本质上是提供了一层虚拟化网络。而虚拟化网络并不是一个新问题。在OpenStack社区,虚拟网络已经有了长足的发展,方案比较成熟,OVS 基本已经成为网络虚拟化的标准

什么是OVN?

OVS 是一个单机的虚拟网络交换机,同时支持 OpenFlow,可以实现复杂的网络流量编程,这也是网络虚拟化的基础。通过OVS 和 OpenFlow 可以实现细粒度的流量控制。如果做个类比,OVS 相当于网络虚拟化里的 Docker。

OVS 只是个单机程序,想生成一个集群规模的虚拟网络就需要一个控制器,这就是 OVN。OVN 和 OVS 的关系就好比 Kubernetes 和 Docker 的关系。OVN 会将高层次的网络抽象转换成具体的网络配置和流表,下发到各个节点的OVS上,实现集群网络的管理。

由于 OVN 最初是为 OpenStack 网络功能设计的,提供了大量 Kubernetes 网络目前不存在的功能:

L2/L3 网络虚拟化包括:

  • 分布式交换机,分布式路由器
  • L2到L4的ACL
  • 内部和外部负载均衡器
  • QoS,NAT,分布式DNS
  • Gateway
  • IPv4/IPv6 支持

此外 OVN 支持多平台,可以在Linux,Windows,KVM,XEN,Hyper-V 以及 DPDK 的环境下运行。

从上面可以看出, OVN 可以覆盖 CNI, Kube-Proxy, LoadBalancer, NetworkPolicy, DNS 等在内的所有 Kubernetes 网络功能,并在原有基础上都有所增强。那么,何不尝试把之前在OpenStack领域内成熟的网络功能平移到 Kubernetes 上呢,于是就诞生了这个开源项目 Kube-OVN。Kube-OVN提供了大量目前Kubernetes不具备的网络功能,并在原有基础上进行增强。通过将OpenStack领域成熟的网络功能平移到Kubernetes,来应对更加复杂的基础环境和应用合规性要求。

Kube-OVN 重要功能及实现

目前大部分网络插件的网络拓扑都是一个大二层网络,通过防火墙做隔离,这种形式非常类似公有云早期的经典网络。Kube-OVN在设计网络支出时,同时把多租户的场景考虑进来,方便之后更好的扩展高级功能,因此采用了不同的网络拓扑。

Kube-OVN 网络拓扑

在Kube-OVN的网络拓扑里,不同 Namespace 对应着不同的子网。子网是其中最为重要的概念,之后的内置负载均衡器,防火墙,路由策略以及DNS的网络功能都是和子网绑定的。我们做到了同一台机器的不同 pod 可以使用不同的子网,多个子网之间使用一个虚拟路由器进行网络的联通。为了满足Kubernetes中主机可以和容器互通的网络要求,Kube-OVN在每个主机新增一块虚拟网卡,并接入一个单独的虚拟交换机和集群的虚拟路由器相连,来实现主机和容器网络的互通。

在容器访问外部网络的策略中,Kube-OVN设计了两种方案:一种是分布式 Gateway,每台主机都可以作为当前主机上 Pod 的出网节点,做到出网的分布式。针对企业需要对流量进行审计,希望使用固定IP出网的场景,还做了和 namespace 绑定的 Gateway,可以做到一个 namespace 下的 Pod 使用一个集中式的主机出网。在整个网络拓扑中,除了集中式网关,交换机,路由器,防火墙,负载均衡器,DNS都是分布在每个节点上的,不存在网络的单点。

Kube-OVN架构图

在实现的过程中,Kube-OVN对组件架构进行了大幅的简化整个流程中只需要一个全局Controller 和分布在每台机器上的 CNI 插件,就可以组建网络,整体安装十分简单。其中全局Controller 负责监听 API Server 事件,针对 Namespace,Pod,Service,Endpoint 等和网络相关的资源变化对 OVN 进行操作。同时 Controller 会把操作 OVN 的结果,例如 IP ,Mac,网关,路由等信息回写到对应资源的 annotation 中,而 CNI 插件则根据回写的 annotation 信息操作本机的 OVS 以及主机网络配置。通过这种架构Kube-OVN将 CNI 插件和、Controller 和 OVN 解耦,通过 Apiserver 传递所需的网络信息,方便快速开发迭代。

Kube-OVN选择使用最基础的 annotation ,而不是 CRD、API Aggregation 或者 Operator,也是出于降低复杂度的考虑,使用户和开发者都能够快速上手。

Kube-OVN主要具备五大主要功能:

  1. Namespace 和子网的绑定以及子网间访问控制;
  2. 静态IP分配;
  3. 动态QoS;
  4. 分布式和集中式网关;
  5. 内嵌 LoadBalancer;

子网是Kube-OVN中最重要的概念,由于子网和 namespace 关联,因此只需要在 namespace 中设置对应的 annotation 就可以完成子网的功能。Kube-OVN支持子网cidr,gateway,exclude_ips 以及 switch_name 的设置。同时支持基于子网的IP隔离,用户可以轻松实施基本的网络隔离策略。在后台实现上,Kube-OVN会监听 namespace 的变化,并根据变化在 ovn 中创建并设置虚拟交换机,将其和集群路由器关联,设置对应的 acl,dns 和 lb。

静态IP的使用可以直接在 Pod 中加入对应的 annotation,Controller 在发现相关 annotation 时会跳过自动分配阶段,直接使用用户指定的 IP/Mac。对应多 Pod 的工作负载,例如 Deployment、DaemonSet,可以指定一个 ip-pool,工作负载下的 Pod 会自动使用ip-pool中未使用的地址。

在QoS功能中,分别实现了 ingress 和 egress 的带宽限制,用户可以在 Pod 运行时通过动态调整 annotation 来实现 QoS 的动态调整,而无需重启 Pod。在后台的实现中, OVN 自带的 QoS 功能工作在 Tunnel 端口,无法对同主机间 Pod 的互访做 QoS 控制。因此Kube-OVN最终通过操作 OVS 的 ingress_policing_rate 和 port qos 字段来实现 QoS 的控制。

在网关设计中,OVN的网关功能有一些使用限制,需要单独的网卡来做 overlay 和 underlay 的流量交换,使用起来比较复杂,为了能够适应更广泛的网络条件并简化用户使用,Kube-OVN对网关部分进行了调整。使用策略路由的方式根据网络包的源 IP 选择下一跳的机器,通过这种方式将流量导入所希望的边界网关节点,然后在网关节点通过 SNAT 的方式对外进行访问。这种方式用户只需要在 namespace 中配置一个网关节点的 annotation 就可以配置对应的流量规则。此外,Kube-OVN也支持非SNAT将容器IP直接暴露给外网的场景,这种情况下只需要外部添加一条静态路由指向容器网络,就可以实现 Pod IP 直接和外部互通。

内嵌的 LoadBalancer 使用 OVN 内置的 L2 LB,这样集群内部的服务发现功能可以直接在 OVS 层面完成,不需要走到宿主机的 iptable 或者 ipvs 规则,可以将 kube-porxy 的功能整合到 Kube-OVN 中。

下一步开源计划

目前Kube-OVN已经在 github 上开源。OVN 安装比较繁琐,Kube-OVN特意做了安装的简化,现在只需要两个 yaml 就可以部署一个完整的 Kube-OVN。在使用方面也做了优化,通过直观的 annotation 即可对网络进行配置。此外还针对不使用任何 annotation的情况内置了一套默认配置。用户可以使用默认的子网,默认的IP分配策略,默认的分布式网关以及内嵌的负载均衡器,这些都不需要任何配置就可以默认启用。欢迎大家体验试用,多提反馈和意见。

近期Kube-OVN开源项目将主要着力于实现三大目标:第一,集中式网关的高可用,消灭整个架构中最后一个单点;第二,内嵌 DNS,去除 Kube-DNS/CoreDNS 的依赖,将整个数据平面用 OVN 进行统一;第三,NetworkPolicy实现。

长期来看,未来将实现对DPDK 和 Hardware Offload 的支持,解决 Overlay 网络性能问题;将更多的 OVS 监控和链路追踪工具引入 Kubernetes;将OpenStack社区的网络功能向Kubernetes平移,打造更完整的网络体系。

目前Kube-OVN项目代码已经在Github 上开源,项目地址为:https://github.com/alauda/kube-ovn。项目使用宽松的Apache 2.0 协议,欢迎更多技术开发者和爱好者前去试用和使用。

 

© 著作权归作者所有

灵雀云Alauda
粉丝 2
博文 1
码字总数 2908
作品 0
海淀
私信 提问
加载中

评论(5)

oilbeater
oilbeater

引用来自“光石头”的评论

可以推到k8s的官方仓库吗?独立组件不敢集成啊 改动这么大😳

引用来自“oilbeater”的评论

这个是和 CNI 标准兼容的,不需要更改核心部分,插件模式安装

引用来自“光石头”的评论

不是说把dns proxy lb 都做了吗?对其他组件没有影响吗?
不影响,相当于从 cni 层面把这些功能实现了
光石头
光石头

引用来自“光石头”的评论

可以推到k8s的官方仓库吗?独立组件不敢集成啊 改动这么大😳

引用来自“oilbeater”的评论

这个是和 CNI 标准兼容的,不需要更改核心部分,插件模式安装
不是说把dns proxy lb 都做了吗?对其他组件没有影响吗?
oilbeater
oilbeater

引用来自“光石头”的评论

可以推到k8s的官方仓库吗?独立组件不敢集成啊 改动这么大😳
这个是和 CNI 标准兼容的,不需要更改核心部分,插件模式安装
光石头
光石头
可以推到k8s的官方仓库吗?独立组件不敢集成啊 改动这么大😳
l
liminghua888
网络水深
Kube-OVN v0.9.0 网络可视化和控制平面稳定性提升

Kube-OVN 是一个基于 OVN 的 Kubernetes 开源网络项目,具有丰富的企业级网络功能并且十分易于上手使用。0.9.0的版本得到了社区用户的大力支持,增加了监控视图,并解决了很多稳定性相关的问...

oilbeater
2019/11/22
1K
0
Kube-OVN 0.5.0 发布,支持 NetworkPolicy,用户自定义网卡,MTU

Kube-OVN 是一个基于 OVN 的 Kubernetes 开源网络系统。 本次更新主要包含了一下内容: 1. 支持 Kubernetes NetworkPolicy: Kube-OVN 0.3.0 的版本起支持子网间的防火墙设置,在 0.5.0 版本...

oilbeater
2019/06/09
354
1
Kube-OVN 0.6.0 发布,支持 IPv6,流量镜像及更多功能

Kube-OVN 是一个基于 OVN 的 Kubernetes 开源网络系统。 本次更新主要包含了以下内容: 1. 支持流量镜像 在安装 Kube-OVN 时可以开启 mirror 选项,会自动在每个节点创建 mirror0 网卡,该网...

oilbeater
2019/07/23
1.6K
2
Kube-OVN v0.8.0 支持网关高可用以及网络监控集成

Kube-OVN 是一个基于 OVN 的 Kubernetes 开源网络项目。 本次更新主要包含了以下内容: 网关 1. 从 0.8 版本开始,集中式网关支持主备模式的高可用,Kube-OVN 会自动探测网关节点的可用性并进...

oilbeater
2019/10/08
796
0
Kube-OVN 0.4.1 发布,基于 OVN 的 Kubernetes 网络系统

Kube-OVN 0.4.1 发布了,Kube-OVN 是基于 Kubernetes 的企业 OVN 网络系统。 该版本主要对 bug 进行了修复: bug 修复: 修复固定 IP 分配出现的校验错误 优化 CNI 错误输出 使用 ovsdb 数据...

oilbeater
2019/05/27
571
0

没有更多内容

加载失败,请刷新页面

加载更多

利用docker来部署go应用程序

利用docker实现go程序的快速部署 最近很长一段时间一直通过各种渠道去了解国内外有关devops方面的实践,感受很多的知识点都特别的分散,所以想通过系统的整理来巩固相应的知识体系。接下来会...

罗布V
16分钟前
37
0
【剑指Offer】二叉树——二叉查找树

package cn.dzp.flyroc.offer;import java.util.Arrays;public class VerifySquenceOfBSTDemo { /*题目描述:输入一个整数数组,判断该数组是不是某二叉搜索树的后序遍历的结...

大数据健身侠
23分钟前
45
0
Linux就该这么学 -- 用户与组

==

jionzhao
昨天
78
0
vscode安装vetur插件写.vue文件html代码无法格式化解决方法

文件-首选项-设置-找到vetur插件-点击“在settings.json中编辑” 加入以下代码即可解决问题 "vetur.format.defaultFormatter.html": "js-beautify-html", "vetur.format.defaultFo......

kyle小哥
昨天
52
0
学习02-css盒子模型

边框border: 属性 用途 注意 border-color 边框颜色 颜色用十六进制#fff border-width 边框宽度 单位px border-style 边框样式 solid实线,dashed虚线,dotted点线 综合写法 边框 样式 颜色...

宋_
昨天
63
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部