文档章节

时间序列数据的存储和计算 - 概述

乱蓬头
 乱蓬头
发布于 2017/06/16 13:55
字数 1491
阅读 78
收藏 0

码上生花,ECharts 作品展示赛正式启动!>>>

摘要: 什么是时间序列数据   什么是时间序列(Time Series,以下简称时序)数据?从定义上来说,就是一串按时间维度索引的数据。用描述性的语言来解释什么是时序数据,简单的说,就是这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。

什么是时间序列数据

  什么是时间序列(Time Series,以下简称时序)数据?从定义上来说,就是一串按时间维度索引的数据。用描述性的语言来解释什么是时序数据,简单的说,就是这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。
  对时序数据进行建模的话,会包含三个重要部分,分别是:主体,时间点和测量值。套用这套模型,你会发现你在日常工作生活中,无时无刻不在接触着这类数据。

  • 如果你是一个股民,某只股票的股价就是一类时序数据,其记录着每个时间点该股票的股价。
  • 如果你是一个运维人员,监控数据是一类时序数据,例如对于机器的CPU的监控数据,就是记录着每个时间点机器上CPU的实际消耗值。

  这个世界是由数据构成的,在这个世界上存在的每个物体,每时每刻都在产生着数据。而对这些数据的挖掘和利用,在这个时代,正在默默的改变人们的生活方式。例如通过可穿戴设备对个人健康的管理,就是通过设备不断采集你的个人健康数据,例如心跳、体温等等,收集完数据后套用模型计算来评估你的健康度。
  如果你的视野和想象空间足够大,你会发现你能够挖掘并利用的数据充斥在你所生活的环境中。这些能够产生数据的对象,会包括你的手机、汽车、空调、冰箱等等。当前比较火热的物联网的核心思想,其实就是构建一个可以让所有物体生产数据并挖掘其价值的网络。而通过这个网络采集的数据,就是典型的时序数据。
  时序数据用于描述一个物体在历史的时间维度上的状态变化信息,而对于时序数据的分析,就是尝试掌握并把控其变化的规律的过程。随着物联网、大数据和人工智能技术的发展,时序数据也呈一个爆发式的增长。而为了更好的支持这类数据的存储和分析,在市场上衍生出了多种多样的新兴的数据库产品。这类数据库产品的发明都是为了解决传统关系型数据库在时序数据存储和分析上的不足和缺陷,这类产品被统一归类为时序数据库。

db_trends

  从DB-Engines的数据库类别流行度趋势榜上可以看到,时序数据库(Time Series DB)的流行度在最近的两年内,一直都是保持一个很高的增长趋势。
  接下来我会写几篇文章,分别来分析:
  1. 时序数据的基本概念,包括模型、特性和基本的查询和处理操作。
  2. 几个流行开源时序数据库的底层实现分析
  3. 阿里云表格存储(TableStore)的时序数据存储和计算解决方案

时间序列数据的特性

  对于时序数据的特点的分析,会从数据的写入、查询和存储这三个维度来阐述,通过对其特点的分析,来推演对时序数据库的基本要求。

数据写入的特点

  • 写入平稳、持续、高并发高吞吐:时序数据的写入是比较平稳的,这点与应用数据不同,应用数据通常与应用的访问量成正比,而应用的访问量通常存在波峰波谷。时序数据的产生通常是以一个固定的时间频率产生,不会受其他因素的制约,其数据生成的速度是相对比较平稳的。时序数据是由每个个体独立生成,所以当个体数量众多时,通常写入的并发和吞吐量都是比较高的,特别是在物联网场景下。写入并发和吞吐量,可以简单的通过个体数量和数据生成频率来计算,例如若你有1000个个体以10秒的频率产生数据,则你平均每秒产生的并发和写入量就是100。
  • 写多读少:时序数据上95%-99%的操作都是写操作,是典型的写多读少的数据。这与其数据特性相关,例如监控数据,你的监控项可能很多,但是你真正去读的可能比较少,通常只会关心几个特定的关键指标或者在特定的场景下才会去读数据。
  • 实时写入最近生成的数据,无更新:时序数据的写入是实时的,且每次写入都是最近生成的数据,这与其数据生成的特点相关,因为其数据生成是随着时间推进的,而新生成的数据会实时的进行写入。数据写入无更新,在时间这个维度上,随着时间的推进,每次数据都是新数据,不会存在旧数据的更新,不过不排除人为的对数据做订正。

本文转载自:http://click.aliyun.com/m/23440/

乱蓬头
粉丝 0
博文 382
码字总数 2595
作品 0
私信 提问
加载中
请先登录后再评论。
1. 什么是Prometheus

什么是Prometheus Prometheus是一个最初在SoundCloud上构建的开源系统监视和警报工具包 。自2012年成立以来,许多公司和组织都采用了Prometheus,该项目拥有一个非常活跃的开发人员和用户社区...

osc_ujeqpb4c
2019/08/15
0
0
CentOS7.5 Prometheus2.5+Grafana5.4监控部署

一、Prometheus概述 Prometheus是一个开源的系统监视和警报工具包,自2012成立以来,许多公司和组织采用了Prometheus。它现在是一个独立的开源项目,并独立于任何公司维护。 在2016年,Prome...

思考_
2018/12/09
0
0
Centos7安装Promethus(普罗米修斯)监控系统完整版

目录 一、普罗米修斯概述 二、时间序列数据 1、什么是序列数据 2、时间序列数据特点 3、Prometheus的主要特征 4、普罗米修斯原理架构图 三、实验环境准备 1、安装prometheus 2、prometheus界...

osc_6ruay563
01/13
9
0
OpentTsdb官方文档中文版----上卷和预聚合

  虽然TSDB被设计为只要有空间就可以存储原始全分辨率(resolution)的数据,但是对于广泛的时间范围或在许多标签组合之上的查询可能是相当痛苦的。这样的查询可能需要很长时间才能完成,或者...

LynnYuanJn
2018/08/27
0
0
5分钟了解Prometheus

Prometheus(译:普罗米修斯)用领先的开源监控解决方案为你的指标和警报提供动力(赋能)。 1. 概述 1.1. Prometheus是什么? Prometheus是一个开源的系统监控和警报工具包。自2012年启动以...

osc_b7lz7dji
2019/09/27
2
0

没有更多内容

加载失败,请刷新页面

加载更多

COREJAVA概述-集合

1、什么是集合 集合类存放于java.util包中。 集合类型主要有3种:set(集)、list(列表)和map(映射)。 集合存放的都是对象的引用,而非对象本身。所以我们称集合中的对象就是集合中对象的引用...

osc_yy65eb2q
4分钟前
0
0
文件或目录损坏且无法读取怎么办?

问题描述: 硬盘打不开文件或目录损坏且无法读取,是因为这个I盘的文件系统内部结构损坏导致的。文件或目录损坏且无法读取怎么办?具体的恢复方法看正文 工具/软件:极限数据恢复软件 步骤1:...

osc_zypmzfh3
5分钟前
0
0
URL not found: C:\Program Files (x86)\Android\android-sdk\temp\build-tools_r

https://www.jianshu.com/p/a867b13d4b31 在Android SDK Manager更新时,显示如图中错误.。 但能获取更新版本列表,说明网络连接没有问题。 解决方法:然后sdk manager右键管理员权限打开,就...

osc_61i1fz2h
7分钟前
7
0
Warning: License for package Android SDK Build-Tools 27.0.3 not accepted.

https://blog.csdn.net/fenyu8/article/details/104897334 报错信息: Failed to install the following Android SDK packages as some licences have not been accepted. Warning: License......

osc_gt7nq50v
9分钟前
8
0
go 结构体与方法

go 结构体与方法 go 结构体相当于 python 中类的概念,结构体用来定义复杂的数据结构,存储很多相同的字段属性 结构体的定义 1、结构体的定义以及简单实用 package mainimport ( "fmt"...

osc_62a7f5bj
12分钟前
16
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部