文档章节

数人云|优势+工具+实践=DevOps&Docker的企业级落地

数人云
 数人云
发布于 2017/08/01 18:32
字数 3571
阅读 9
收藏 0
点赞 0
评论 0

Markdown

识别二维码报名活动

8月19日,来自微软、数人云、京东、当当网的四位IT老兵,《一起吹响Container+集结号》,看Serverless、DevOps、微服务、CI/CD、分布式调度任务等技术,在各个场景中与Container发生的碰撞与交互。

数人云:DevOps&Docker已经逐步完成布道阶段,在越来越多的场景中应用并且获得显著的效果,本文将阐述了两者结合在一起的优势以及相关实践。

Docker通过模块化、平台独立性、高效资源利用和快速安装,颠覆了原有的应用部署交付等方法,帮助DevOps更好地落地,两者结合的优势有:

  • 快速交付
  • 实时更新应用
  • 版本可靠
  • 提高质量
  • 敏捷环境

什么是DevOps

敏捷开发基于适应性应用开发、持续改进、持续交付,因此DevOps的目标是在应用交付的各个团队之间建立协作,并使应用交付过程自动化,从而不断地测试、部署和监控新发布的版本。

DevOps将开发和运维协调在一起,寻求自动化过程以保证应用的质量,通过DevOps模式,Docker可以构建从GitHub代码仓库到应用部署的一个持续交付的通道,从GitHub代码仓库到应用部署。

DevOps如何结合Docker

Docker容器通过镜像运行,可以在本地或者存储库(如Docker Hub)上使用,假设作为一个用例,MySQL数据库或其他数据库提供的新版本经常使用小BUG或补丁进行修复,如何在没有延迟的情况下为终端用户提供新版本?

Docker镜像与代码存储库相关联——一个GitHub代码仓库或其他一些存储库,如AWS coUNK mit,若开发人员从GitHub代码仓库构建Docker镜像,并使其在Docker Hub到最终用户,如果最终用户将Docker镜像部署为容器,那么会有以下几个单独运行的阶段:

1)将GitHub代码仓库构建到Docker镜像中(使用Docker构建命令)

2)测试Docker镜像(使用Docker run命令)

3)上传Docker镜像到Docker Hub(使用Docker推送命令)

4)终端用户下载Docker镜像(使用Docker pull命令)

5)终端用户运行一个Docker容器(使用Docker run命令)

6)终端用户部署一个应用(如,使用AWS弹性Beanstalk)

7)终端用户监控应用

Markdown

当新的MySQL数据库在短时间内(可能仅仅一天),出现新的BUG,需要将过程重复。

但DevOps模式可以用于Docker镜像从GitHub到部署,且不需要用户或管理员进行干预。

DevOps的设计模式

DevOps的设计模式以持续集成、持续测试、持续交付和持续部署为中心,自动化、协作和持续监控是DevOps中使用的一些其他设计模式。

【持续集成】

持续集成是不断地将源代码集成到一个新的构建或发布的过程,源代码可以在本地存储中,也可以在GitHub或AWS CodeCommit中。

【持续测试】

连续测试新的构建或发布即持续测试,Jenkins之类的工具为持续测试提供了几个特性:在Jenkins的每个阶段都有用户去输入,它提供了一些插件,如Docker构建步骤插件,分别测试每个Docker应用阶段:运行容器、上传镜像、停止容器。

【持续交付】

持续交付为终端用户提供新的构建,以便在生产中部署,对于Docker应用,持续交付包括在Docker Hub或Amazon EC2容器等存储库中提供Docker镜像的每个新版本/标记。

【持续部署】

持续部署是不断地部署Docker镜像的最新版本,每当一个Docker镜像的新版本/标签可用时,Docker镜像就会被部署到生产环境中,Kubernetes 容器管理器已经提供了一些功能,如滚动更新,无需中断即可将Docker镜像升级到最新的服务,Jenkins滚动更新是自动化的,当Docker镜像的新版本/标签可用时,就会不断更新。

【持续监控】

持续监控可以监控正在运行应用的过程,类似于Sematext可以监控Docker应用,部署Sematext Docker代理来监控Kubernetes的集群指标并收集日志。

【自动化】

对于Docker应用,可以自动安装一些如Kubernetes这种非常复杂的工具,在其1.4版本中包含了名为Kubeadm的新工具,可以在Ubuntu和CentOS上自动安装Kubernetes上,但CoreOS上不支持Kubeadm工具。

【协作】

协作涉及到跨团队的工作和资源共享,如不同的开发团队可以在GitHub库中开发Docker镜像的不同版本代码,所有的Docker镜像标签都被构建并不断上传至Docker Hub,Jenkins提供了许多分支渠道项目,用于从GitHub存储库等存储库的多个分支中构建代码。

DevOps的工具

Jenkins

Markdown

Jenkins是一种常用的自动化和持续交付工具,可用于不断地构建、测试和交付Docker镜像,Jenkins提供了几个可以与Docker一起使用的插件,如Docker插件,Docker构建步骤插件,Amazon EC2插件。

  • 使用Amazon EC2插件,可以使用云配置为Jenkins的代理服务器动态提供实例。
  • Docker插件可以用来配置云,在Docker容器中运行Jenkins项目。
  • Docker构建步骤插件用于测试Docker镜像的各个阶段:构建镜像、运行容器、将镜像Push到 Docker Hub停止并删除Docker。

CodeCommit & CodeBuild & Elastic Beanstalk

Markdown

AWS提供了一些DevOps工具:

CodeCommit是一个类似于GitHub的版本控制服务,用来存储和管理源代码文件,AWS CodeBuild用于构建和测试代码的DevOps工具,需要构建的代码可以从GitHub或coUNK mit持续集成,从CodeBuild中输出的Docker镜像可以上传到Docker Hub,也可以在构建完成时上传到Amazon EC2容器注册中心。

CodeBuild提供持续且自动化的过程用于构建、测试、交付阶段。

Elastic Beanstalk用于在云端部署和扩展Docker应用,提供了自动容量供应、负载均衡、容缩和监控,Beanstalk应用和环境可以从一个打包为ZIP文件的Dockerfile创建,该文件包含其他应用资源,或仅仅来自一个未打包的Dockerfile,或可以在Dockerrun.aws中制定Docker应用的配置,包括Docker镜像和环境变量。Json文件是Dockerrun.aws的例子,列出了多个容器的配置,其中一个用于MySQL数据库,另一个用户Nginx服务器:

{
  "AWSEBDockerrunVersion": 2,
  "volumes": [
    {
      "name": "mysql-app",
      "host": {
        "sourcePath": "/var/app/current/mysql-app"
      }
    },
    {
      "name": "nginx-proxy-conf",
      "host": {
        "sourcePath": "/var/app/current/proxy/conf.d"
      }
    }
  ],
  "containerDefinitions": [
    {
      "name": "mysql-app",
      "image": "mysql",
      "environment": [
        {
            "name": "MYSQL_ROOT_PASSWORD",
            "value": "mysql"
        },
        {
            "name": "MYSQL_ALLOW_EMPTY_PASSWORD",
            "value": "yes"
        },
        {
            "name": "MYSQL_DATABASE",
            "value": "mysqldb"
        },
        {
            "name": "MYSQL_PASSWORD",
            "value": "mysql"
        }
    ],
      "essential": true,
      "memory": 128,
      "mountPoints": [
        {
          "sourceVolume": "mysql-app",
          "containerPath": "/var/mysql",
          "readOnly": true
        }
      ]
    },
    {
      "name": "nginx-proxy",
      "image": "nginx",
      "essential": true,
      "memory": 128,
      "portMappings": [
        {
          "hostPort": 80,
          "containerPort": 80
        }
      ],
      "links": [
        "mysql-app"
      ],
      "mountPoints": [
        {
          "sourceVolume": "mysql-app",
          "containerPath": "/var/mysql",
          "readOnly": true
        },
        {
          "sourceVolume": "nginx-proxy-conf",
          "containerPath": "/etc/nginx/conf.d",
          "readOnly": true
        }
      ]
    }
  ]
}

Beanstalk应用程序部署的监控: Markdown

DevOps&Docker的实践

Docker Datacenter提供让企业更容易建立内部CaaS环境,有助于企业应用交付。

Docker Datacenter(DDC)为企业提供了一种方法:可以让开发者轻松地部署应用,而不必担心从开发到生产的过程中产生的问题。

CaaS平台提供容器和集群编排,通过为DDC构建云端模板,开发者和IT操作人员可以将Dockerzed应用迁移到云端。

DDC包括Docker Universal Control Plane(UCP)、The Docker Trusted Registry (DTR) , 和The Commercially Supported (CS) Docker Engine 。

Markdown

The Universal Control Plane

UCP是集群管理解决方案,可以安装在本地或虚拟私有云上,UCP公开了标准的Docker API,可以继续使用已知的工具管理集群,如仍然可以使用docker info 命令来查看集群的状态:

Containers: 15
Images: 10
ServerVersion: swarm/1.1.3
Role: primary
Strategy: spread
Filters: health, port, dependency, affinity, constraint
Nodes: 2
 ucp: <UCP_IP>:<PORT>
   └ Status: Healthy
   └ Containers: 20
 ucp-replica: <UCP_REPLICA>:<PORT>
   └ Status: Healthy
   └ Containers: 10

使用Docker UCP,仍然可以管理基础设施的节点:应用、容器、网络、镜像等,Docker UCP有内置身份验证机制,支持LDAP和Active Directory及基于角色的访问控制(RBAC),确保只有授权用户能够访问并对集群进行更改。

Markdown

UCP是一个容器化的应用,允许管理一组同一Docker集群的节点,UCP的核心组件是名为UCP代理的全局调度服务,运行后将使用其他CUP组件部署容器。

The Docker Trusted Registry

安全性是开发者在企业采用Docker所面临的最大挑战之一,认识到这一挑战以及企业需要继续在整个网络中简化安全性,Docker引入了Docker Trusted Registry(DTR)。

DTR使用的身份验证机制和Docker UCP相同将其内置,还支持RBAC,允许在必要时实现个性化的访问控制策略。

部署Docker Datacenter

运行DDC主要有两种选择:部署整个堆栈,包括UCP和DTR在AWS上生成模板,或在Linux服务器上手动操作,在本案例中,将使用Docker CaaS(容器作为服务)提供的第二个选择。

CaaS选项基本上是一个托管的SaaS解决方案,Docker引擎、UCP和DTR由Docker操作,容器节在服务器上运行,本文将链接到AWS环境作为案例,但其实也可以在本地环境中运行。

在AWS上部署节点集群

登录到您的DDC账户(可以注册试用Docer Datacenter版本)并在左侧菜单中寻找云设置选项,如下图所示,包含可以链接的支持公有云应用列表,用于创建和托管节点,可用Docker Datacenter进行管理。

Markdown

选择AWS作为提供商,单击Plug-and-Play图表后,会出现对话框,需要进入Role Delegation ARN(请参阅:https://docs.docker.com/docker-cloud/infrastructure/link-aws/)

节点集群设置

链接到AWS环境后,进行基础设施设置,如下图所示:

Markdown

点击创建后,将被重定向到配置页面——会被要求输入集群的配置参数:

Markdown

集群名称没有限制,也适用于标签字段,允许提供关于想要创建集群的额外描述。

建议列表也随后出现,作为提供者,必须选择与自身账户链接的那个,字段本身只需要一个选择,而且不局限于创建托管在不同提供者的节点集群。

继续选择AWS区域和网络(VPC),如果将VPC默认设置为“Auto”那么所有的集群节点都将部署在一个新的自动创建的VPC中。

Type/Size字段用于配置每个节点的CPU和RAM数量,IAM角色可以不受影响,并保存默认值“None”剩下要配置的最后两个字段是磁盘大小和节点数量,本文中,设置了10G的磁盘空间并创建了3个节点。

Markdown

点击启动节点集群后,将重定向到节点集群概览界面,可以跟踪集群的状态,成功部署节点集群,部署的状态就会出现在节点集群的名称下。

再次点击启动节点集群,能看到云提供商发生更改,因为已经与Docker Datacenter相连,所有创建的节点都将在那里托管,可以在云平台上用支持的方式进行监控。(参见Logz.io Docker日志收集器用于集中监控Docker环境的方法:https://logz.io/blog/logz-io-docker-log-collector/)

跨节点集群部署服务

接下来会详细介绍如何跨节点集群部署服务,本文中将使用Nginx:

Markdown

点击左侧菜单栏中的“服务”,将显示主视图的服务面板,而后点击右上角的“Create”按钮,将被重定向到部署获取权镜像的方式。

除了Jumpstart部分和公共镜像,还有一部分可以定义自己的存储库,从中提取镜像,这里将使用公开可用的镜像。

Markdown

在搜索Docker Hub区域内的文本框中输入“Nginx”Enter后将看到与之匹配的可用镜像列表,选择第一项。

单击列表项中的“Select”按钮后,将重定向到Settings页面,部署策略对以下事情非常重要:

  • 跨节点之间的负载均衡
  • 当容器崩溃时的选项:自动重启和自动销毁
  • 终止容器时的策略(此操作实际在终止时会破坏所有数据)
  • 自动重新部署选项:当新镜像被推送或构建时自动重新部署服务

Markdown

为其他面板与端口添加运行命令、内存限制和CPU有关限制,本文实例中保留默认值即可。

而后是Ports部分,可以在这里选择发布哪些端口,并对外部公开(以及哪些不公开),本案例中使用的是80和443。

Markdown

接下来配置环境变量、和其他服务的链接,如把API作为单独的服务部署,NGINX服务器将请求重定向到API服务时,这些链接是有用的。

完成后,可以点击“创建和部署“按钮,将会重定向到服务概览页面,可以看到部署状态,前面步骤中输入的配置概述、容器、链接、环境变量,以及用于访问NGINX服务器的DSN节点等等。

Markdown

如果单击节点中提供的链接,则会看到Nginx欢迎页面。 如前所述,除了连接AWS账户外,还支持内部节点,但都需要安装支持的操作系统,单击“在节点集群中自带节点”按钮,并在服务器中键入命令(在模式窗口内提供),并在数据中心内执行类似节点的操作。

Markdown

原文作者: Deepak Vohra、Daniel Berman

原文链接: http://logz.io/blog/docker-datacenter https://www.toadworld.com/platforms/mysql/b/weblog/archive/2017/01/17/devops-for-docker-a-trend-for-2017

© 著作权归作者所有

共有 人打赏支持
数人云
粉丝 16
博文 101
码字总数 328110
作品 0
朝阳
架构师
Meetup北京报名开启|一起吹响Container+集结号

Meetup北京报名开启|一起吹响Container+集结号 数人云博客2017-08-0112 阅读 container开启 Container技术在国内的落地实践, 已进阶Container+ 8月阅兵仪式,一睹超强装备的风采, 技术圈也...

数人云博客 ⋅ 2017/08/01 ⋅ 0

微服务架构企业级增强产品,数人云推出统一配置中心Hawk

微服务架构企业级增强产品,数人云推出统一配置中心Hawk 数人云博客2017-11-221 阅读 架构服务产品配置 11月16日,数人云在PaaS Innovation大会上,正式发布企业应用架构管理体系EAMS,这是数...

数人云博客 ⋅ 2017/11/22 ⋅ 0

如期而至的 Swarm 新工具 Crane 开源解读

中秋节前,数人云技术团队推出了一款新的基于SwarmKit技术栈的工具。大家可能都了解到数人云的容器技术栈是用Mesos驱动的,为什么在Docker刚发布最新的1.12版之后,我们要做出这个工具呢?在...

达尔文 ⋅ 2016/10/17 ⋅ 2

关于UMCloud与数人云“确认过眼神儿”这事儿,你了解始末吗?

内部人士披露,两家公司计划在5月初完成全面的合并以及整合工作,届时将以全新的面貌正式投入运营。 图片来源于:http://tech.ifeng.com/a/20180417/44957607_0.shtml 这样分析,合并后,数人...

sch881226 ⋅ 05/08 ⋅ 0

当容器与CI/CD相遇,7个建议送给你

当容器与CI/CD相遇,7个建议送给你 数人云博客2017-09-193 阅读 ci 数人云: Docker是CI/CD的早期采用者,通过利用如GIT等源代码控制机制的正确集成,Jenkins可以在开发者每次提交代码时启动...

数人云博客 ⋅ 2017/09/19 ⋅ 0

双态运维联盟(BOA)正式成立,DaoCloud 引领企业数字化转型

3 月 1 日,由联想、DaoCloud、新华三、华为等 12 家 IT 企业在北京正式达成协议,联合发起成立 “双态运维联盟”。中国电子工业标准技术协会、信息技术服务分会数据中心运营管理工作组(DCM...

玄学酱 ⋅ 04/17 ⋅ 0

企业就绪 传统行业落地Docker时机已来?

  【IT168 云计算】以Docker为代表的容器技术,近两年迅速成为IT业界热点已成不争的事实。作为长期关注企业级科技动态的媒体人,笔者去年对国内容器生态做过一次浅显的评论总结。彼时的容器...

it168网站 ⋅ 2016/09/29 ⋅ 0

腾讯云战略投资灵雀云(Alauda),领跑容器PaaS市场

摘要:灵雀云(Alauda)获B轮融资,腾讯云战略领投,之前轮次投资方高榕资本、宽带资本跟投,其他战略投资者持续跟进,B轮融资总额超亿元人民币。融资后,腾讯云与灵雀云双方将在容器及企业级...

智, 多趣 ⋅ 2017/11/08 ⋅ 0

微服务2017年度报告出炉:4大客户画像,15%传统企业已领跑

0 1 驱动因素 微服务架构具有明显的好处,尤其是在应对复杂业务系统的多变需求方面。在本次调研企业中,每个月都要进行业务系统更新的比例占63%,只有不到20%的企业半年以上更新一次系统。 ...

数人云 ⋅ 01/12 ⋅ 0

Rancher Labs赋能合作伙伴抢滩容器市场

开源平台 全球部署 Rancher自发布至今已经有超过8000万次的下载量,全球活动部署数量已超过15000个节点,在全球拥有数百家大中型政府及企业客户,用户广泛分布于互联网行业、金融行业(银行、...

RancherLabs ⋅ 02/05 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

内核线程、轻量级进程、用户线程

线程与进程概念 在现代操作系统中,进程支持多线程。 进程是资源管理的最小单元; 线程是程序执行的最小单元。 即线程作为调度和分配的基本单位,进程作为资源分配的基本单位 一个进程的组成...

117 ⋅ 9分钟前 ⋅ 0

elasticsearch2.4.6升级为elasticsearch-5.5.0的经历

将elasticsearch-5.5.0 中的配置 path.data 指向原来的数据路径 即 path.data: /usr/local/src/elasticsearch-2.4.6/data 注意: elasticsearch-5.5.0 需要将jdk版本升级到1.8...

晨猫 ⋅ 10分钟前 ⋅ 1

lvm讲解 磁盘故障小案例

1

oschina130111 ⋅ 14分钟前 ⋅ 0

那些提升开发人员工作效率的在线工具

本文转载自公众号 Hollis 作为一个Java开发人员,经常要和各种各样的工具打交道,除了我们常用的IDE工具以外,其实还有很多工具是我们在日常开发及学习过程中要经常使用到的。 Hollis偏爱使用...

时刻在奔跑 ⋅ 26分钟前 ⋅ 0

restful风格 实现DELETE PUT请求 的web.xml的配置

import org.springframework.beans.factory.annotation.Autowired; import org.springframework.http.HttpStatus; import org.springframework.http.ResponseEntity; import org.springframe......

泉天下 ⋅ 31分钟前 ⋅ 0

Shell数组

Shell数组 Shell在编程方面比Windows批处理强大很多,无论是在循环、运算。 bash支持一维数组(不支持多维数组),并且没有限定数组的大小。类似与C语言,数组元素的下标由0开始编号。获取数...

蜗牛奔跑 ⋅ 41分钟前 ⋅ 0

nmap为了开发方便 可以做简单的修改

因为nmap扫描是默认使用的是nse脚本,但是在开发的过程中需要修改后缀(主要是因为后缀为lua才能显示高亮,所以这里用一个取巧的办法) nse_main.lua文件中我们找到如下代码 local t, path = cn...

超级大黑猫 ⋅ 45分钟前 ⋅ 0

springmvc获取axios数据为null情况

场景:前端用了vue没有用ajax与后台通信,用了axios,但是在代码运行过程中发现axios传递到后台的值接受到数据为null。 问题原因:此处的问题在与axios返回给后台的数据为json类型的,后台接...

王子城 ⋅ 47分钟前 ⋅ 0

hadoop技术入门学习之发行版选择

经常会看到这样的问题:零基础学习hadoop难不难?有的人回答说:零基础学习hadoop,没有想象的那么难,也没有想象的那么容易。看到这样的答案不免觉得有些尴尬,这个问题算是白问了,因为这个...

左手的倒影 ⋅ 47分钟前 ⋅ 0

806. Number of Lines To Write String - LeetCode

Question 806. Number of Lines To Write String Solution 思路:注意一点,如果a长度为4,当前行已经用了98个单元,要另起一行。 Java实现: public int[] numberOfLines(int[] widths, Str...

yysue ⋅ 54分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部