文档章节

深度解析Kubernetes Local Persistent Volume

WaltonWang
 WaltonWang
发布于 2018/08/25 21:38
字数 1846
阅读 1725
收藏 0

摘要:本文分析了hostPath volume缺陷,然后对local persistent volume的使用场景、基本的工作机制进行了分析,介绍了使用时的注意事项,并简单介绍local volume manager如何帮助administrator进行local persistent volume的生命周期管理的。

hostPath volume存在的问题

过去我们经常会通过hostPath volume让Pod能够使用本地存储,将Node文件系统中的文件或者目录挂载到容器内,但是hostPath volume的使用是很难受的,并不适合在生产环境中使用。

我们先看看hostPath Type有哪些类型:

ValueBehavior
Empty string (default) is for backward compatibility, which means that no checks will be performed before mounting the hostPath volume.
DirectoryOrCreateIf nothing exists at the given path, an empty directory will be created there as needed with permission set to 0755, having the same group and ownership with Kubelet.
DirectoryA directory must exist at the given path
FileOrCreateIf nothing exists at the given path, an empty file will be created there as needed with permission set to 0644, having the same group and ownership with Kubelet.
FileA file must exist at the given path
SocketA UNIX socket must exist at the given path
CharDeviceA character device must exist at the given path
BlockDeviceA block device must exist at the given path

看起来支持这么多type还是挺好的,但为什么说不适合在生产环境中使用呢?

  • 由于集群内每个节点的差异化,要使用hostPath Volume,我们需要通过NodeSelector等方式进行精确调度,这种事情多了,你就会不耐烦了。

  • 注意DirectoryOrCreateFileOrCreate两种类型的hostPath,当Node上没有对应的File/Directory时,你需要保证kubelet有在Node上Create File/Directory的权限。

  • 另外,如果Node上的文件或目录是由root创建的,挂载到容器内之后,你通常还要保证容器内进程有权限对该文件或者目录进行写入,比如你需要以root用户启动进程并运行于privileged容器,或者你需要事先修改好Node上的文件权限配置。

  • Scheduler并不会考虑hostPath volume的大小,hostPath也不能申明需要的storage size,这样调度时存储的考虑,就需要人为检查并保证。

  • StatefulSet无法使用hostPath volume,已经写好的使用共享存储的Helm Chart不能兼容hostPath volume,需要修改的地方还不少,这也挺难受的。

local persistent volume工作机制

FEATURE STATE: Kubernetes v1.11 Beta

Local persistent volume就是用来解决hostPath volume面临的**portability, disk accounting, and scheduling**的缺陷。PV Controller和Scheduler会对local PV做特殊的逻辑处理,以实现Pod使用本地存储时发生Pod re-schedule的情况下能再次调度到local volume所在的Node。

local pv在生产中使用,也是需要谨慎的,毕竟它本质上还是使用的是节点上的本地存储,如果没有相应的存储副本机制,那意味着一旦节点或者磁盘异常,使用该volume的Pod也会异常,甚至出现数据丢失,除非你明确知道这个风险不会对你的应用造成很大影响或者允许数据丢失。

那么通常什么情况会使用Local PV呢?

  • 比如节点上的目录数据是从远程的网络存储上挂载或者预先读取到本地的,为了能加速Pod读取这些数据的速度,相当于起Cache作用,这种情况下因为只读,不存在惧怕数据丢失。这种AI训练中存在需要重复利用并且训练数据巨大的时候可能会采取的方式。
  • 如果本地节点上目录/磁盘实际是具有副本/分片机制的分布式存储(比如gluster, ceph等)挂载过来的,这种情况也可以使用local pv。

Local volume允许挂载本地的disk, partition, directory到容器内某个挂载点。在Kuberentes 1.11仍然仅支持local pv的static provision,不支持dynamic provision。

  • Kubernetes使用PersistentVolume的.spec.nodeAffinityfield来描述local volume与Node的绑定关系。

  • 使用volumeBindingMode: WaitForFirstConsumer的local-storage StorageClass来实现PVC的延迟绑定,使得PV Controller并不会立刻为PVC做Bound,而是等待某个需要使用该local pv的Pod完成调度后,才去做Bound。

下面是定义local pv的Sample:

apiVersion: v1
kind: PersistentVolume
metadata:
  name: example-pv
spec:
  capacity:
    storage: 100Gi
  # volumeMode field requires BlockVolume Alpha feature gate to be enabled.
  volumeMode: Filesystem
  accessModes:
  - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: local-storage
  local:
    path: /mnt/disks/ssd1
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - example-node

对应的local-storage storageClass定义如下:

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: local-storage
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer

使用local persistent volume注意事项

  • 使用local pv时必须定义nodeAffinity,Kubernetes Scheduler需要使用PV的nodeAffinity描述信息来保证Pod能够调度到有对应local volume的Node上。

  • volumeMode可以是FileSystem(Default)和Block,并且需要enable BlockVolume Alpha feature gate。

  • 创建local PV之前,你需要先保证有对应的storageClass已经创建。并且该storageClass的volumeBindingMode必须是WaitForFirstConsumer以标识延迟Volume Binding。WaitForFirstConsumer可以保证正常的Pod调度要求(resource requirements, node selectors, Pod affinity, and Pod anti-affinity等),又能保证Pod需要的Local PV的nodeAffinity得到满足,实际上,一共有以下两种volumeBindingMode:

    	// VolumeBindingImmediate indicates that PersistentVolumeClaims should be
    	// immediately provisioned and bound.
    	VolumeBindingImmediate VolumeBindingMode = "Immediate"
    
    	// VolumeBindingWaitForFirstConsumer indicates that PersistentVolumeClaims
    	// should not be provisioned and bound until the first Pod is created that
    	// references the PeristentVolumeClaim.  The volume provisioning and
    	// binding will occur during Pod scheduing.
    	VolumeBindingWaitForFirstConsumer VolumeBindingMode = "WaitForFirstConsumer"
    
  • 节点上local volume的初始化需要我们人为去完成(比如local disk需要pre-partitioned, formatted, and mounted. 共享存储对应的Directories也需要pre-created),并且人工创建这个local PV,当Pod结束,我们还需要手动的清理local volume,然后手动删除该local PV对象。因此,persistentVolumeReclaimPolicy只能是Retain。

local volume manager

上面这么多事情需要人为的去做预处理的工作,我们必须要有解决方案帮我们自动完成local volume的create和cleanup的工作。官方给出了一个简单的local volume manager,注意它仍然只是一个static provisioner,目前主要帮我们做两件事:

  • local volume manager 监控配置好的discovery directory的新的挂载点,并为每个挂载点根据对应的storageClassName, path, nodeAffinity, and capacity创建PersistentVolume object。

  • 当Pod结束并删除了使用local volume的PVC,local volume manager将自动清理该local mount上的所有文件, 然后删除对应的PersistentVolume object.

因此,除了需要人为的完成local volume的mount操作,local PV的生命周期管理就全部交给local volume manager了。下面我们专门介绍下这个Static Local Volume Provisioner。

后面我会单独写一个博文对local volume manager进行深度剖析。

总结

本文对hostPath volume不能在生产环境中很好使用的原因进行了阐述,然后对local persistent volume的使用场景、基本的工作机制进行了分析,介绍了使用时的注意事项,最后简单介绍了local volume manager如何帮助administrator进行local persistent volume的生命周期管理的。接下来,我会再写两篇博客,分别对scheduler和pv controller如何对local persistent volume的处理逻辑进行源码分析,对local volume manager进行深度剖析。

© 著作权归作者所有

共有 人打赏支持
WaltonWang
粉丝 210
博文 104
码字总数 220998
作品 0
深圳
程序员
私信 提问
加载中

评论(3)

eisenxu
eisenxu
话说这个 local pvc 的方案作者有使用吗,感受如何呀
WaltonWang
WaltonWang

引用来自“liouys”的评论

MountVolume.SetUp failed for volume "test" : mount failed: exit status 32 Mounting command: mount Mounting arguments: -o bind /mnt/fast-disks /var/lib/kubelet/pods/de1a1914-b310-11e8-8fe7-fa163e6dd520/volumes/kubernetes.io~local-volume/test Output: mount: special device /mnt/fast-disks does not exist 为啥我这里老是出现这样的问题哦
1. /mnt/fast-disks在宿主机上已经提前挂载好了吗?
2. volumeMode确认设置为Block。
3. BlockVolume feature gate是否已经Enable?
liouys
liouys
MountVolume.SetUp failed for volume "test" : mount failed: exit status 32 Mounting command: mount Mounting arguments: -o bind /mnt/fast-disks /var/lib/kubelet/pods/de1a1914-b310-11e8-8fe7-fa163e6dd520/volumes/kubernetes.io~local-volume/test Output: mount: special device /mnt/fast-disks does not exist 为啥我这里老是出现这样的问题哦
PowerDNS Recursor 3.3 正式版发布

pdns-recursor 是一个 dns 解析器(recursor),是 debian 从 powerdns 里面单独编译出来的只做 dns 解析器应用的软件。 Changes: This version fixes a number of small but persistent iss...

红薯
2010/09/23
193
0
关于KBEngine存储的封装

众所周知,服务器的一个主要功能是对数据进行存储,有些游戏服务器直接将服务器引擎部分分成了网络和数据库两大引擎(PS:网易貌似就是这么搞的),对于数据库操作,很多都是重复性的代码,如...

uinuinuin11
2015/08/29
1K
2
RHEL6.3克隆虚拟机后的网卡启动失败问题解析

公司测试环境安装的都是RHEL6.3,在进行虚拟机克隆后,发现clone的虚拟机网卡起不来,具体报如下错误: [root@localhost Desktop]# service network restart Shutting down loopback interfa...

fengfaling2013
2018/06/29
0
0
VMware克隆CentOS 6后网卡配置问题

由于克隆虚拟机,vmware只是修改了虚拟机的名字等信息,并没有修改虚拟硬盘中的任何信息,导致克隆后网卡的MAC地址和操作系统中记录的mac地址不符,导致eth0启动不起来。操作系统记录了一个新...

liangxiaowei66
2015/01/28
0
0
openshift/origin学习记录(7)——集成Jenkins服务

学习资料来源于官方英文文档与《开源容器云OpenShift》一书,因为刚开始学习,不确定博客的正确性,以下内容仅供参考。 Openshift项目提供了集成Openshift插件的Jenkins容器镜像和部署模板。...

huqigang
2017/09/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

四、RabbitMQ3.7在CentOS7下的安装

安装依赖 sudo yum install -y gcc gcc-c++ glibc-devel make ncurses-devel openssl-devel autoconf java-1.8.0-openjdk-devel git 创建yum源 vi /etc/yum.repos.d/rabbitmq-erlang.repo [......

XuePeng77
今天
2
0
android 延长Toast的时长

示例:myToast(5000,"hello"); public void myToast(int showTime, String msg) { Toast hello = Toast.makeText(getActivity(), msg, Toast.LENGTH_SHORT); new CountDownTimer(......

雨焰
昨天
4
0
浅谈mybatis的日志适配模式

Java开发中经常用到的日志框架有很多,Log4j、Log4j2、slf4j等等,Mybatis定义了一套统一的日志接口供上层使用,并为上述常用的日志框架提供了相应的适配器。有关适配器模式例子可以参考 设计...

算法之名
昨天
13
0
大数据教程(13.6)sqoop使用教程

上一章节,介绍了sqoop数据迁移工具安装以及简单导入实例的相关知识;本篇博客,博主将继续为小伙伴们分享sqoop的使用。 一、sqoop数据导入 (1)、导入关系表到HIVE ./sqoop import --connect...

em_aaron
昨天
3
0
Git cherry-pick 使用总结

应用背景:假设现在有两个分支:dev_01, dev_02. 如果我想把dev_01分支上的某几个commit合并到dev_02分支, 那么怎么办呢? 这就是cherry-pick的工作了。cherry-pick会捡选某些commit, 即把某...

天王盖地虎626
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部