文档章节

#研发解决方案#iDB-数据库自动化运维平台

旁观者-郑昀
 旁观者-郑昀
发布于 2015/12/08 14:24
字数 1262
阅读 127
收藏 1

郑昀 创建于2015/12/2 最后更新于2015/12/2

关键词:数据库,MySQL,自动化运维,AutoDDL,刷库,帐号授权,审核,回滚


iDB 是刘勤红部门推出的数据库自动化运维平台,它其实已经断断续续开发了几个月了,线上也跑了一段时间,最近又发布了新版本。版本迭代的主力是王晓华同学,李世杰也参与了一部分开发工作,曹富志和张永奎是需求方。

iDB 的主要目的是解决绝大部分重复、复杂的数据库运维工作 ,满足业务对数据库信息查询和快速变更需求,借此提升研发效率,保证数据库操作符合审计要求,有可追溯的变更和审核日志。

 

0x00,数据库自动化运维什么?别人家是怎么玩的?

当数据库越来越多时,比如按业务垂直分库了,10个,50个,100个……

当数据库关系越来越复杂时,比如 Cobar 水平拆库,从库分组,级联从库,合并库,比如某些索引要求只建在特定从库上……

DBA 的日常管理,手速再快,也不得不希望有系统来帮忙,毕竟数据库拓扑建立起来后,很多操作都可以自动化完成。

 

举个例子,工程上线前要开数据库访问帐号和权限。没有平台的话,那就得 DBA 一个一个去建,写库是 M 打头的帐号,读库是 S 打头的帐号,密码强度还得高。有了平台之后,DBA 只需要审核研发人员提的需求即可,系统自动化生成帐号密码,然后发邮件给申请人,或者将密码生成对称加密后的密文展示给申请人。

 

再比如,刷库。DBA 刷库之前为安全起见,都会先备份,然后刷库,一旦刷库有问题需要回滚数据,至少有东西恢复。有了平台之后,研发人员提刷库脚本,DBA 审核,并设定执行时间,系统会自动备份数据,一旦有问题,DBA 点击回滚按钮,系统自动将数据刷回去。

 

那么,别人家的数据库自动化运维平台都有什么特性呢?

我们先来看一下美团,它的数据库自动化运维包括如下内容:

美团,它的数据库自动化运维包括如下内容

图1 美团的功能点

可以看到,上图一些功能点如慢查,Processlist 等,我们是放在天机系统里的。

 

同样是 AutoDDL(建库、建表及更改表字段定义和属性)功能。

赶集的逻辑是:

赶集的AutoDDL逻辑

图2 赶集的AutoDDL

 

美团的逻辑是:

美团DDL逻辑

图3 美团的AutoDDL

 

新浪则:

新浪iDB

图4 新浪的AutoDDL

 

对于线上数据订正(即刷库)功能。

赶集的订正逻辑
图5 赶集的订正逻辑

 

对于线上数据查询功能。

阿里的 iDB 界面如下所示:

阿里的iDB

图6 阿里iDB的线上数据查询

 

对于备份还原功能。

阿里的iDB备份管理

图7 阿里iDB的备份管理

 

还有人把数据库监控和报警做到这种系统里了。

新浪的数据库监控

图8 新浪的数据库监控

 

大致如此,各个公司八仙过海各显其能,DBA 和研发运维的生产力大大提升。

 

0x01,我们打算做哪些特性?

我们的 iDB 有如下特性:

  • 已经上线的:
    • 线上帐号申请、审核和管理
    • 线上数据查询
    • 线上数据订正
    • AutoDDL
  • 着手在做的:
    • 自动识别数据库拓扑关系(记得吗,我们在天机系统里曾经做过)
    • 新建数据库实例
    • 备份管理
    • ……

 

0x02,我们的 iDB

首先,iDB 的用户角色分为研发人员和 DBA。首页会有一个任务导航,如下图所示:

我们的iDB首页-Engineer版

图9 云纵iDB首页-工程师的任务看板

我作为 Engineer,登录 idcenter,跳到 iDB 后,可以:

发起订正申请,个人帐号申请,工程帐号申请,DDL 申请,

还可以:

线上数据查询。

 

我如果是 DBA,任务看板就变为:

我们的iDB首页-DBA版

图10 云纵iDB首页-DBA任务看板

相对 Engineer,增加了:

订正审核,帐号审核,DDL 审核,数据库组管理,任务管理等。

 

简单介绍这么多,以后再介绍一些更高级的特性。再次感谢王晓华、刘勤红、曹富志、张永奎和李世杰!

p.s.:云纵的 iDB 是我们自主开发的系统,只是 codename 与阿里的 iDB 一样。天机,鹰眼,也均如此,名字一样,但功能和实现是我们自己的脑力成果。
 
-EOF-

© 著作权归作者所有

旁观者-郑昀
粉丝 99
博文 77
码字总数 162700
作品 0
朝阳
私信 提问
十年磨一剑,阿里巴巴企业级数据管理平台:iDB

摘要: 阿里巴巴企业级数据库管理平台iDB面向云时代推出数据管理DMS企业版,是业界首创的数据库DevOps解决方案,形成了云时代企业数据管理的最佳实践。 十年间,阿里巴巴的研发人员也增长了十...

全部原谅
2017/08/15
214
1
如何从零开始搭建一个技术平台

郑昀 创建于2016/3/30 最后更新于2016/4/8 关键词:技术预研课题,平台设计,应用场景,故事,信息架构,业务流程,数据流程 本文档适用人员:全体研发 提纲: 如何从零开始搭建一个技术平台...

旁观者-郑昀
2016/04/26
131
0
iDB是如何运转的 一

郑昀 创建于2015/12/2 最后更新于2015/12/4 关键词:数据库,MySQL,自动化运维,DDL,DML,SQL审核,备份,回滚,Inception,osc 每个大型互联网公司都有一个数据库自动化运维系统,比如 Qu...

旁观者-郑昀
2015/12/08
47
0
2018年网易乐得数据库及运维分享会

2018年网易乐得技术分享-数据库及运维分享专场,将从开源中间件Cetus架构及应用、RDS自动化运维平台架构、运维Docker平台三个的方面开展,旨在增加对网易内部数据库及运维平台认识,促进行业...

胖丫
2018/06/21
6
0
2018年网易乐得数据库及运维分享会

2018年网易乐得技术分享-数据库及运维分享专场,将从开源中间件Cetus架构及应用、RDS自动化运维平台架构、运维Docker平台三个的方面开展,旨在增加对网易内部数据库及运维平台认识,促进行业...

胖丫
2018/06/20
136
0

没有更多内容

加载失败,请刷新页面

加载更多

官方来源的 Duo Mobile App 解决了我的 Network Difficulties 问题

https://help.duo.com/s/article/2094?language=en_US 我利用百度搜索下载了一个 Duo Mobile App (由于 Google Play)在大陆不可用。 在扫描旧手机上的 Duo Mobile App 的二维码时, 显示出错...

圣洁之子
17分钟前
3
0
Zabbix监控Mysql容器(Docker容器)主从是否存活

1、在Zabbix Web端创建模板 2、为该模板创建监控项 3、创建触发器 4、在zabbix-agent端操作 在/etc/zabbix/zabbix_agentd.d新建customize.confw文件 内容如下 UserParameter=mysql.replicat...

abowu
19分钟前
2
0
基于 RocketMQ 的同城双活架构在美菜网的挑战与实践

本文整理自李样兵在北京站 RocketMQ meetup分享美菜网使用 RocketMQ 过程中的一些心得和经验,偏重于实践。 嘉宾李样兵,现就职于美菜网基础服务平台组,负责 MQ ,配置中心和任务调度等基础...

大涛学长
25分钟前
5
0
设计模式之:外观模式和桥接模式

作者:DevYK 链接:https://juejin.im/post/5d7e01f4f265da03b5747aac 外观模式 介绍 外观模式 (Facade) 在开发过程中的运用评率非常高,尤其是在现阶段,各种第三方 SDK “充斥” 在我们周边...

Java架构Monster
26分钟前
2
0
人证合一核验设备

人脸身份验证机,人证合一设备1:N如我们现在在车站或一些重要的场所如步行街、城中村等人流密集的场所应用的人脸识别布控系统,其特点是动态和非配合。所谓的动态也就是识别的不是照 片,不是...

非思丸智能
28分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部