文档章节

基于Kubernetes的ESaaS架构及实现细节(一)

WaltonWang
 WaltonWang
发布于 02/07 21:17
字数 1138
阅读 1082
收藏 14

概述

ESaaS(ElasticSearch as a Service)是ElasticSearch on Kubernetes的产品实现,是利用DockerKubernetes等容器虚拟化和编排调度系统,将ElasticSearch抽象为CaaS(Container as a Service)平台上的一种服务,实现秒级创建和扩缩容一个用户自定义的ElasticSerach集群,并且保证高可用和数据安全等方面。

关键组件

  • ElasticSearch 2.x
  • Kubernetes 1.9
  • Docker 1.12.6

解决的痛点:

  • ES集群初始化部署周期长,从申请服务器到交付,可能需要数天。
  • 部署过程自动化程度不高,开发测试环境中纯手动部署,线上半自动化部署,经常出错需要调测环境。
  • 集群的扩容也是人为操作,效率低且容易犯错。
  • ES服务器经常面临资源浪费的情况。
  • 各种插件的安装麻烦,并且有些需要重启节点,人为操作不当会带来风险。
  • 没有提供完善的ES集群和服务器的监控告警方案。
  • 没有提供配套的Kibana服务,人工部署Kibana并对接ES效率低。
  • ES集群之间没做资源隔离,机架机柜的物理隔离等。
  • 没有接入日志系统,查看系统和ES集群日志很不方便。

目标

  • 集群统一管理Portal,提供ES集群自助申请和集群信息看板;
  • 提供用户配额管理;
  • 秒级扩容缩容;
  • 完整的平台和ES集群监控和告警能力;
  • 提供统一的ES集群配置修改入口;
  • 外围插件的自助部署;
  • 节点的自助安全重启等;

架构

高可用部署架构

输入图片说明

必要说明

  • ESaaS Portal提供用户云上自助申请ES集群和运维的入口,ESaaS做好相关业务逻辑能力,最终调用后端Kubernetes API进行ES集群的创建和管理;ESaaS Portal要求对接权限管理系统,进行用户登录验证和权限控制;
  • 为了保证ElasticSearch集群的高可用,在开发测试环境,要求同一个ES集群的同一个role(比如client/master/data)的ES nodes不能有多个部署在同一台服务器上;在生产环境,以上情况则要求跨机架部署;
  • ES集群在Kubernetes中目前均考虑使用本地存储,不用分布式存储;
  • ES集群的data node Pod需要挂载两个hostpath volume,分别为存储data的data volume和存储ES plugin的plugin volume,对应服务器上的hostpath /es/$cluser-name/data/data/es/$cluser-name/data/plugin;
  • ES集群的master和client node Pod需要挂载一个hostpath volume,存储ES plugin的plugin volume,对应服务器上的hostpath /es/$cluser-name/client(or master)/plugin;
  • ESaaS平台提供Apache httpd服务用于托管常用插件,称为ES Plugin Repository,目前优先考虑托管jar类型plugin。某个ES集群要给某个或者某些ES nodes安装jar plugins时,将从ES Plugin Repository中下载plugin文件到对应的/es/$cluser-name/client(or data,master)/plugin;

逻辑架构

输入图片说明

必要说明

  • 每个ES集群的data nodes的部署通过一个Kubernetes StatefulSet来管理;

  • 每个ES集群的master nodes的部署通过一个Kubernetes Deployment来管理,并通过一个Kubernetes Headless Service来做master nodes的反向代理,这样在KubeDNS中该Headless Service Name对应解析到每个ES master nodes Pod的IP地址;

  • 每个ES集群的client nodes的部署通过Kubernetes Deployment来管理,并通过一个Kubernetes NodePort Service来做client nodes的反向代理(后续ES集群数多了后,考虑使用Ingress Nginx来代理ES client),每个ES集群对外暴露$Client-IP:$NodePort;

  • 同一个ES集群中所有nodes的elasticsearch.yml均使用如下规则的部分配置:

    	cluster.name: "elasticsearch-${NAMESPACE}"
    
    	node.name: "${POD_NAME}-${NAMESPACE}"
    
    	network.host: ${POD_IP}
    
    	# hosts填写ES master的Headless Service Name
    	discovery.zen.ping.unicast.hosts: “es-${NAMESPACE}”
    

在下一篇博文 ESaaS架构及实现细节(二) 中将介绍这个方案需要注意和考虑的关键实现细节,内容涉及二十多项。

© 著作权归作者所有

共有 人打赏支持
WaltonWang
粉丝 174
博文 95
码字总数 197016
作品 0
深圳
程序员
Kubernetes杭州集市干货大起底,你get了吗?

2018年3月31日,在美丽的西子湖畔,CNCF Meetup——Kubernetes GeekGathering 2018杭州站与众多新朋老友如约相会,此次技术集会由K8S技术社区、EasyStack、网易云联合主办,谐云科技、网银互...

k8scaptain
04/20
0
0
容器化 RDS:借助 CSI 扩展 Kubernetes 存储能力

容器化RDS系列文章: 容器化RDS:计算存储分离架构下的“Split-Brain” 容器化RDS:计算存储分离还是本地存储? 容器化RDS:你需要了解数据是如何被写"坏"的 容器化RDS:PersistentLocalVolu...

Docker
06/11
0
0
基于Kubernetes和OpenStack的开源项目在物联网的应用

日前在Austin举办的OpenStack 大会上介绍过基于Kubernetes和Openstack的开源物联网平台。我们来看看这两者的结合在物联网平台如何玩,先说说我们对物联网的解决方法和看法,再给大家展示两个...

Caicloud
2016/05/27
207
0
Kubernetes 的未来是 Serverless

从容器革命开始就有两件事情变得清晰起来:首先,技术堆栈中各层的脱钩产生了清晰的,原则性的分层概念,具有明确的约定,所有权和责任。其次,引入这些层使开发人员能够专注于对他们至关重要...

云技术之家
04/25
0
0
坐标深圳 | Kubernetes!我要用这样的姿势拥抱你

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 从去年至今,容器、Kubernetes话题的热度就持续不减,有人说基于容器 +Kubernetes 的新型 PaaS 将会成为云计算的主流;有人说201...

腾讯云+社区
06/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

八种排序算法的时间复杂度复杂度

1、稳定性 归并排序、冒泡排序、插入排序。基数排序是稳定的 选择排序、快速排序、希尔排序、堆排序是不稳定的 2、时间复杂度 最基础的四个算法:冒泡、选择、插入、快排中,快排的时间复杂度...

陈刚生
20分钟前
1
0
大数据学习系列 Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

目录 引言 目录 一、环境选择 1,集群机器安装图 2,配置说明 3,下载地址 二、集群的相关配置 1,主机名更改以及主机和IP做相关映射 2,ssh免登录 3,防火墙关闭 4,时间配置 5,快捷键设置...

董黎明
33分钟前
1
1
六元一个的私有博客系统,了解一下?

神说要有光,于是便有了光 写代码的,偶尔都想装点逼,想要自己写点博客。刚开始还能在各大社区写,比如说CSDN,开源中国,博客园什么的。但是越写就会越觉得,那些博客平台都不是自己想要的...

耒耒耒耒耒
38分钟前
1
0
maven环境隔离

一.maven项目环境根据实际情况进行隔离: 开发环境 dev 测试环境 beta 线上环境 prod 二.pom 配置: build节点 <build> <resources> <resource> <directory>src/......

imbiao
39分钟前
1
0
webrtc收包流程源码分析

版本: webrtc M59 收包流程: AsyncUDPSocket::OnReadEvent AllocationSequence::OnReadPacket HandleIncomingPacket UDPPort::OnReadPacket Connection::OnReadPacket P2PTransportChannel......

bill_shen
41分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部