文档章节

基于Kubernetes的ESaaS架构及实现细节(一)

WaltonWang
 WaltonWang
发布于 02/07 21:17
字数 1138
阅读 1146
收藏 14

概述

ESaaS(ElasticSearch as a Service)是ElasticSearch on Kubernetes的产品实现,是利用DockerKubernetes等容器虚拟化和编排调度系统,将ElasticSearch抽象为CaaS(Container as a Service)平台上的一种服务,实现秒级创建和扩缩容一个用户自定义的ElasticSerach集群,并且保证高可用和数据安全等方面。

关键组件

  • ElasticSearch 2.x
  • Kubernetes 1.9
  • Docker 1.12.6

解决的痛点:

  • ES集群初始化部署周期长,从申请服务器到交付,可能需要数天。
  • 部署过程自动化程度不高,开发测试环境中纯手动部署,线上半自动化部署,经常出错需要调测环境。
  • 集群的扩容也是人为操作,效率低且容易犯错。
  • ES服务器经常面临资源浪费的情况。
  • 各种插件的安装麻烦,并且有些需要重启节点,人为操作不当会带来风险。
  • 没有提供完善的ES集群和服务器的监控告警方案。
  • 没有提供配套的Kibana服务,人工部署Kibana并对接ES效率低。
  • ES集群之间没做资源隔离,机架机柜的物理隔离等。
  • 没有接入日志系统,查看系统和ES集群日志很不方便。

目标

  • 集群统一管理Portal,提供ES集群自助申请和集群信息看板;
  • 提供用户配额管理;
  • 秒级扩容缩容;
  • 完整的平台和ES集群监控和告警能力;
  • 提供统一的ES集群配置修改入口;
  • 外围插件的自助部署;
  • 节点的自助安全重启等;

架构

高可用部署架构

输入图片说明

必要说明

  • ESaaS Portal提供用户云上自助申请ES集群和运维的入口,ESaaS做好相关业务逻辑能力,最终调用后端Kubernetes API进行ES集群的创建和管理;ESaaS Portal要求对接权限管理系统,进行用户登录验证和权限控制;
  • 为了保证ElasticSearch集群的高可用,在开发测试环境,要求同一个ES集群的同一个role(比如client/master/data)的ES nodes不能有多个部署在同一台服务器上;在生产环境,以上情况则要求跨机架部署;
  • ES集群在Kubernetes中目前均考虑使用本地存储,不用分布式存储;
  • ES集群的data node Pod需要挂载两个hostpath volume,分别为存储data的data volume和存储ES plugin的plugin volume,对应服务器上的hostpath /es/$cluser-name/data/data/es/$cluser-name/data/plugin;
  • ES集群的master和client node Pod需要挂载一个hostpath volume,存储ES plugin的plugin volume,对应服务器上的hostpath /es/$cluser-name/client(or master)/plugin;
  • ESaaS平台提供Apache httpd服务用于托管常用插件,称为ES Plugin Repository,目前优先考虑托管jar类型plugin。某个ES集群要给某个或者某些ES nodes安装jar plugins时,将从ES Plugin Repository中下载plugin文件到对应的/es/$cluser-name/client(or data,master)/plugin;

逻辑架构

输入图片说明

必要说明

  • 每个ES集群的data nodes的部署通过一个Kubernetes StatefulSet来管理;

  • 每个ES集群的master nodes的部署通过一个Kubernetes Deployment来管理,并通过一个Kubernetes Headless Service来做master nodes的反向代理,这样在KubeDNS中该Headless Service Name对应解析到每个ES master nodes Pod的IP地址;

  • 每个ES集群的client nodes的部署通过Kubernetes Deployment来管理,并通过一个Kubernetes NodePort Service来做client nodes的反向代理(后续ES集群数多了后,考虑使用Ingress Nginx来代理ES client),每个ES集群对外暴露$Client-IP:$NodePort;

  • 同一个ES集群中所有nodes的elasticsearch.yml均使用如下规则的部分配置:

    	cluster.name: "elasticsearch-${NAMESPACE}"
    
    	node.name: "${POD_NAME}-${NAMESPACE}"
    
    	network.host: ${POD_IP}
    
    	# hosts填写ES master的Headless Service Name
    	discovery.zen.ping.unicast.hosts: “es-${NAMESPACE}”
    

在下一篇博文 ESaaS架构及实现细节(二) 中将介绍这个方案需要注意和考虑的关键实现细节,内容涉及二十多项。

© 著作权归作者所有

共有 人打赏支持
WaltonWang
粉丝 196
博文 100
码字总数 207940
作品 0
深圳
程序员
私信 提问
Kubernetes杭州集市干货大起底,你get了吗?

2018年3月31日,在美丽的西子湖畔,CNCF Meetup——Kubernetes GeekGathering 2018杭州站与众多新朋老友如约相会,此次技术集会由K8S技术社区、EasyStack、网易云联合主办,谐云科技、网银互...

k8scaptain
04/20
0
0
Kubernetes 的未来是 Serverless

从容器革命开始就有两件事情变得清晰起来:首先,技术堆栈中各层的脱钩产生了清晰的,原则性的分层概念,具有明确的约定,所有权和责任。其次,引入这些层使开发人员能够专注于对他们至关重要...

云技术之家
04/25
0
0
QCon技术干货:个推基于Docker和Kubernetes的微服务实践

2016年伊始,Docker无比兴盛,如今Kubernetes万人瞩目。在这个无比需要创新与速度的时代,由容器、微服务、DevOps构成的云原生席卷整个IT界。在近期举办的QCon全球软件开发大会上,个推应用平...

个推君
10/24
0
0
vivo基于Kubernetes构建企业级TaaS平台实践

Author: xidianwangtao@gmail.com vivo TaaS架构 关于如何将Kubernetes和TensorFlow整合起来的Topic,以及我们的CaaS技术栈的介绍,请参考过往的两篇文章,在这里我不再赘述。 浅尝TensorFlo...

WaltonWang
01/11
17
0
VMware收购Heptio,一家由两位Kubernetes项目联合创始人成立的公司

在此次于欧洲召开大型客户会议期间,VMware公司同时宣布了另一项收购决策,旨在帮助企业客户建立并运行基于Kubernetes的容器化架构。而本轮收购的对象,正是位于西雅图的初创企业Heptio。Hep...

Docker
11/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Yearning基于Inception的开源SQL审核平台

基础环境: python3 nodejs vuejs mysql python-ldap pymysql mysql 新建数据库 create database Yearning DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; Navicat导入初始化数据 : ......

以谁为师
12分钟前
0
0
flutter Expanded用法

使用的地方:一个分类,类似京东的,左右两边都可以滑动 Widget build(BuildContext context) { return Row(children: [ Column( children: <Widget>[ Ex......

大灰狼wow
17分钟前
2
0
Java8 Map中新增的方法使用总结

前言 得益于 Java 8 的 default 方法特性,Java 8 对 Map 增加了不少实用的默认方法,像 getOrDefault, forEach, replace, replaceAll, putIfAbsent, remove(key, value), computeIfPresent,......

kaixin_code
26分钟前
1
0
@TransactionConfiguration

@TransactionConfiguration过时与替代写法 @TransactionConfiguration 替代写法

miaojiangmin
28分钟前
0
0
浅谈Vue响应式(数组变异方法)

很多初使用Vue的同学会发现,在改变数组的值的时候,值确实是改变了,但是视图却无动于衷,果然是因为数组太高冷了吗? 查看官方文档才发现,不是女神太高冷,而是你没用对方法。 看来想让女...

开元中国2015
30分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部