文档章节

用Harbor实现容器镜像仓库的管理和运维

project_harbor
 project_harbor
发布于 2016/08/21 20:45
字数 2043
阅读 517
收藏 9

(本文由8月18日VMware中国研发首席架构师张海宁在Harbor技术群分享内容汇编而成。)

本次分享主要讲述了在开发运维中的管理容器镜像方法。为了便于说明原理,较多地使用Harbor作为例子。

内容主要包括:
1)开发和生产环境中镜像仓库的权限控制
2)镜像远程同步(复制)的原理
3)大规模应用镜像发布方式;
4)镜像删除和空间回收
5)Registry高可用性设计。

首先简单介绍一下Harbor项目。Harbor是由VMware中国研发团队负责开发的开源企业级Registry,可帮助用户迅速搭建企业级的registry 服务。该项目发布5多个月以来,深受用户喜爱,在GitHub 获得了近1000个点赞星星和200多个 forks。有兴趣的朋友可以使用: https://github.com/vmware/harbor 

容器应用的使用越来越普遍,容器最大优点就是开发运维一体化,通过容器镜像打包应用,使得开发、测试和发布都具有相同的运行环境,带来极大的便利。那么镜像在实际运维中处于怎样的地位呢?

我们先看看下面这张经典的Docker容器的生命周期图:
dockerLifeCycle.png

从图中可以看到,容器镜像的关联箭头最多,不言而喻,镜像技术就是容器的核心所在。概括地说,容器包含一静一动两部分:静态存放的镜像(images)和动态运行的containers。相应地,容器的开发运维主要涉及镜像管理和运行时(Runtime)管理两部分。本文主要和大家分享的是容器镜像管理的部分。

1)开发和生产环境中镜像仓库的权限控制

在企业中,通常有不同的开发团队来负责不同的应用项目,和源代码分项目管理一样,镜像也需要按照项目来存放和管理。由于团队中有不同的成员,如项目经理、产品经理、开发、测试和运维等人员,每人使用镜像的需求不同,因此可以根据角色分配相应的权限。

例如,测试人员通常只需要镜像的读权限(pull),开发人员需要读写权限(push/pull),项目经理除了拥有开发人员的权限之外,还可以增加和删除项目成员,设定他们的角色。
在Harbor Registry中,每个项目可有三种角色:项目管理员(project admin)、开发者(developer)和客人(guest)。某些项目,如放在library中的公共镜像, 可以允许匿名访问,即用户不同docker login也可以访问,这样可以方便使用。在整个系统中,还设有系统管理员,具有维护镜像同步策略、用户增删等权限。

需要指出的是,在不同的环境中,某个成员的角色可以不同。例如,在开发环境的registry中,运维人员一般不需要权限(或需要只读权限);而在生产环境中的Registry,运维人员就需要有读写权限。下图是Harbor的权限管理界面:
harbor3.png
2)镜像远程同步(复制)的原理
很多用户在开发、测试和运维中都使用同一个Registry,这样“简单粗暴”的方式比较适合小团队或简单的项目,其他情况最好使用多个Registry以区分不同的用途。如下图,容器镜像管理的参考流程。

imagelifeCycle.png

开发环境的Registry: 主要由开发人员使用,镜像变化频繁。当开发完成后,通过CI系统生成稳定镜像,同步到测试Registry;

测试环境的Registry: 主要由测试人员使用,镜像保持不变。当测试通过后,同步到准生产环境的Registry;

准生产环境的Registry: 主要由测试和运维人员使用,镜像保持不变。当准生产环境试运行后,最后再同步生产环境的Registry;

生产环境的Registry: 发布镜像到生产环境运行。

从开发到生产的整个过程中,实现容器镜像的Build-Ship-Run过程。Harbor可以提供Registry之间的镜像自动同步和复制功能,简化了管理。

3)大规模应用镜像发布方式;

在实际生产运维的中,往往需要把镜像发布到几十或上百台集群节点上。这时,单个Registry已经无法满足大量节点的下载需求,因此要配置多个registry实例做负载均衡。手工维护多个registry实例上的镜像,将是十分繁琐的事情。Harbor可以支持一主多从的镜像发布模式,可以解决大规模镜像发布的难题。

masterSlave.png

只要往一台registry上发布,镜像就像“仙女散花”般地同步到多个registry中,高效可靠。

如果是地域分布较广的集群,还可以采用层次型发布方式,如从集团总部同步到省公司,从省公司再同步到市公司:

repli2.png

在同步过程中,如果源镜像已删除,Harbor会自动同步删除远端的镜像。在镜像同步复制的过程中,Harbor会监控整个复制过程,遇到网络等错误,会自动重试。

这是同步复制的监控画面:

harbor4.png

4)镜像删除和空间回收
Docker命令没有提供Registry镜像删除功能,日积月累,将会产生许多无用的镜像,占用大量存储空间。若要删除镜像并回收空间,需要调用docker registry API来完成,比较麻烦。Harbor提供了可视化的镜像删除界面,可以逻辑删除镜像。在维护状态下可以回收垃圾镜像的空间。

5)Registry高可用性设计。
Registry高可用性(HA)是多数生产系统需要关心的问题,基本要求就是没有单点故障。通常需要根据允许服务中断的时间,以及可以承受的成本和损失,来确定采用的技术。下面介绍3种HA的方案:
ha1.png

一种比较标准的方案,就是多个的Registry实例共享同一个后端存储,任何一个实例持久化到存储的镜像,都可被其他实例中读取。通过前置LB进来的请求,可以分流到不同的实例中去处理,实现了负载均衡,也避免了单点故障。

应该指出,实际中需要考虑的问题远比上述模型复杂。例如,共享存储的选取,用户session在不同的实例上共享等等。用户可根据自己业务要求设计出不同的方案。Harbor将会推出基于swift分布式存储,以及共享session的方案(采用redis)来满足用户的需求。

如果没有共享存储,另一种方案就是在两个节点间采用双主复制策略,互相复制镜像。即使有一个实例失效,另一个实例仍然可以提供服务,从而在一定程度上可以满足HA的需求。

ha2.png

第3中方案是利用已有的HA平台,如vSphere HA,配合分布式存储VSAN,可以实现Harbor的HA, 具体架构见下图:

vsannew1.png
节点出现故障的时候,有vSphere自动切换到好的节点上,镜像数据不丢失。

vsannew2.png

我们以开源Harbor为例子,总结了Registry的使用场景和要点,希望对大家有帮助。

欢迎广大用户使用Harbor项目并反馈意见和建议,也欢迎加入我们贡献代码。如果您是Harbor的用户或开发者,可申请加入Harbor开源项目微信群,以方便沟通。请先扫描下面二维码关注“亨利笔记”公众号,并在公众号后台发送"入群"信息即可。 

 

© 著作权归作者所有

project_harbor
粉丝 16
博文 10
码字总数 18030
作品 0
海淀
私信 提问
Harbor用户机制、镜像同步和与Kubernetes的集成实践

Habor是由VMWare公司开源的容器镜像仓库。事实上,Habor是在Docker Registry上进行了相应的企业级扩展,从而获得了更加广泛的应用,这些新的企业级特性包括:管理用户界面,基于角色的访问控...

msj0905
2018/06/27
0
0
vForum演讲PPT:企业级容器服务的架构和案例

题图摄于Lake Powell 阅读导航 一、vForum云原生DevOps 论坛演讲PPT分享,可下载PDF: 企业级容器服架构:VIC、PKS和PCF 二、Harbor开源容器镜像仓库征文活动送T-Shirt等纪念品,含平板电脑、...

q48s71bczbeylou9t0n
2017/10/29
0
0
Harbor 1.6推出Helm Chart管理、复制过滤等新功能、视频演示

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/q48S71bCzBeYLOu9T0n/article/details/83005635 题图摄于北京奥林匹克塔:中国樽及CBD楼群 Harbor 开源项目在...

亨利笔记
2018/10/09
0
0
vForum演讲PPT:企业级容器服务的架构和案例

题图摄于Lake Powell 阅读导航 一、vForum云原生DevOps 论坛演讲PPT分享,可下载PDF: 企业级容器服架构:VIC、PKS和PCF 二、Harbor开源容器镜像仓库征文活动送T-Shirt等纪念品,含平板电脑、...

q48s71bczbeylou9t0n
2017/10/29
0
0
容器镜像之明察秋毫:Harbor内容信任的原理及演示视频

题图摄于北京怀柔区:五色梅 阅读导航 一、Harbor 内容信任功能防止镜像被篡改 二、镜像内容信任功能原理 三、镜像内容信任演示视频 四、Harbor征文活动送T-Shirt等纪念品,含平板电脑、Kin...

q48s71bczbeylou9t0n
2017/10/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

分布式架构 实现分布式锁的常见方式

一、我们为什么需要分布式锁? 在单机时代,虽然不需要分布式锁,但也面临过类似的问题,只不过在单机的情况下,如果有多个线程要同时访问某个共享资源的时候,我们可以采用线程间加锁的机制...

太猪-YJ
38分钟前
3
0
GitLab Docker 安装记录

安装环境 环境Centos7.4 64 1.拉取镜像文件 docker pull gitlab/gitlab-ce:latest 2.docker 安装 git.zddts.com 为访问域名或换成可以访问的IP docker run -d --hostname git.***.com -p ......

侠者圣
今天
0
0
部署kubernates dashboard

参考官方文档: https://github.com/kubernetes/dashboard 直接部署官方默认的dashboard: kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/r......

猫海豚
今天
0
0
Docker中Redis的安装

一、下载镜像 docker pull redis 二、创建外挂目录及配置 mkdir /opt/docker/redismkdir /opt/docker/redis/confmkdir /opt/docker/redis/data 三、安装 docker run -d --name compose_r......

闊苡訆涐囍醣
今天
0
0
JNI内存泄露处理方法汇总

在c++中new的对象,如果不返回java,必须用release掉,否则内存泄露。包括NewStringUTF,NewObject。如果返回java不必release,java会自己回收。   jstring jstr = env->NewStringUTF((*p)....

shzwork
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部