文档章节

OpenTSDB的设计之道

浮躁的码农
 浮躁的码农
发布于 2015/05/07 11:39
字数 423
阅读 35
收藏 0


OpenTSDB是一个架构在Hbase系统之上的实时监控信息收集和展示平台。

它在海量数据的压力下,仍然保证了存储的效率,那么它背后有什么值得借鉴的地方呢?
1)使用AsyncHbase而非HBase自带的HTable。使用线程安全、非阻塞、异步、多线程并发的HBase API,在高并发和高吞吐时,可以获得更好的效果。建议在使用 AsyncHBase时,在CPU core有保证的前提下,可以设置16或者24。
2)采用固定长度的Rowkey,让Rowkey包含尽可能多的检索信息。这一点的话,OpenTSDB存储的数据要包含大量的metrics和tag信息,这些信息的长度是变长的,因此,在实现上设置了一个表格uid-tsdb存储这些信息,作为一个全局唯一的编号,并把编号与TimeStamp合并作为Rowkey。
 
3)每一行要存储尽可能多的信息,这一点在OpenTSDB被发挥到了极致。例如,把某个时间段的分散采集的数据合并在一起,按照一个Row来提交给hbase。这种方案,会减少整个表格Rowkey的个数,从而提高检索Row的速度,但是该方法并没有节省存储空间。
在这个基础上,OpenTSDB又推动了一步,让一个column记录多条内容,从而降低存储空间的浪费。
4)按照时间的Boundary来存储,仍采用无状态的存储方案,从而提供系统的容错能力。
附录:OpenTSDB中一个KeyValue的存储结构如下:

本文转载自:

共有 人打赏支持
浮躁的码农

浮躁的码农

粉丝 66
博文 770
码字总数 148307
作品 0
松江
程序员
私信 提问
OpenTSDB 生产应用与思考

作者:陈杰,欢聚时代YY 基础架构部,数据库技术组,专注于HBase、Kafka,MySQL 等技术。 OpenTSDB 官方介绍 这里就不翻译了。http://opentsdb.net/overview.html How does OpenTSDB work? O...

pursue5956
2018/08/07
0
0
openTSDB数据结构的设计优化咨询

既有状态:openTSDB安装完成但我没有使用过TSDB 期望:根据我这边的中小规模物联网远程监控数据存储的应用场景,进行较为合理的TSDB数据存储结构的设计和定义和我这边物联网数据采集服务器的...

伍工
2018/08/20
0
0
MySQL 记一次修改root密码

1、正常关闭MySQL服务 [root@mysqlnode02 opentsdb-2.3.0]# systemctl stop mysqld.service 2、修改配置文件my.cnf增加跳过权限认证 [root@mysqlnode02 opentsdb-2.3.0]# vi /etc/my.cnf [m......

PeakFang-BOK
2018/11/14
0
0
OpenTSDB 数据会乱套问题

OpenTSDB运行nohup日志: java.lang.IllegalStateException: id=[0, 0, 0, -9] => name=4029, already mapped to 有线宽带开户 java.lang.IllegalStateException: id=[0, 0, 2, -81] => name......

涛涛已经有人使用
2017/02/15
2
0
开源监控系统 - OpenTSDB

开源监控系统OpenTSDB,用hbase存储所有的时序(无须 采样)来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics,支持永久存储,可以做容量规划,并很容易的接入到现...

匿名
2012/07/07
0
3

没有更多内容

加载失败,请刷新页面

加载更多

多表查询

第1章 多表关系实战 1.1 实战1:省和市  方案1:多张表,一对多  方案2:一张表,自关联一对多 1.2 实战2:用户和角色 (比如演员和扮演人物)  多对多关系 1.3 实战3:角色和权限 (比如...

stars永恒
今天
7
0
求推广,德邦快递坑人!!!!

完全没想好怎么来吐槽自己这次苦逼的德邦物流过程了,只好来记一个流水账。 从寄快递开始: 2019年1月15日从 德邦物流 微信小app上下单,截图如下: 可笑的是什么,我预约的是17号上门收件,...

o0无忧亦无怖
昨天
7
0
Mac Vim配置

1.升级 vim   我自己 MacBook Pro 的系统还是 10.11 ,其自带的 vim 版本为 7.3 ,我们将其升至最新版: 使用 homebrew : brew install vim --with-lua --with-override-system-vim 这将下...

Pasenger
昨天
8
0
vmware安装Ubuntu上不了网?上网了安装不了net-tools,无法执行ifconfig?

1.重新设置网络适配器还是不行,如下指定nat 2.还需要指定共享网络,我是在无线环境下 3.无法执行ifconfig https://packages.ubuntu.com/bionic/net-tools到这个网站下载net-tools的deb文件...

noob_chr
昨天
6
0
解决SVN:E210007无法协商认证机制

svn:E210007 svn: Cannot negotiate authentication mechanism 执行下面代码即可 sudo yum install cyrus-sasl cyrus-sasl-plain cyrus-sasl-ldap...

临江仙卜算子
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部