文档章节

IBM Streams时间序列数据分析

勿忘初心321
 勿忘初心321
发布于 2016/11/29 13:19
字数 1420
阅读 53
收藏 0

时间序列数据是一个物体或多个物体随着时间不断产生的数值序列。比如:从智能电表中获得月电度使用量;每日股票的价格和交易量;ECG(心电图);地震仪,网络性能数据等等。时间序列数据一定基于时间顺序,这个顺序是所有时间分析算法的基础。IBM Streams时间序列工具包(TimeSeries Toolkit),可以用来预处理、分析和建模时间序列数据。

IBM Streams里,时间序列数据有三种主要类型的处理方法:

  • 数据预处理:包括读取、修复、条件化数据。
  • 数据分析:包括分析时间序列数据的内在信息。比如:对时间序列数进行计算统计信息和关联,解析和转换.
  • 数据建模:包括时间序列模型的创建以及使用模型来预测或回归。

这个工具包还提供一系列函数来自动生成以测试和验证为用途的时间序列数。以下对该工具包的具体功能:

1. 分析模块具有以下Operator(对时间序列数据流进行连续运算)

  • AnomalyDetector异常检测
  • CrossCorrelate2交叉关联(滑动点乘或滑动内乘),用于测量两个时间序列的相似度
  • CrossCorrelateMulti用于模式识别,两个或多个时间序列。
  • DSPFilter2数字信号处理(DSP)的过滤操作算法执行对输入时间序列的数字滤波操作。数字滤波是一个普遍的技术使用,以提高或降低的时间序列的某些特性。它可用于长度不能计数的数据处理,例如,数据平滑化,趋势,增强,放大,和频率解析。
  • DSPFilterFinite同上,用于有限长度的数据处理。
  • DWT2离散小波变换
  • Distribution     四位分布图quartile distribution
  • FFT傅里叶变换
  • FunctionEvaluator对时间序列中每个值进行计算
  • Normalize计算均值和方差,零均值和单位方差
  • PSAX分段聚合近似Piecewise Aggregate Approximation
  • STDseasonal     trend decomposition 季节趋势分解

慧都控件网年末大促

2. 分析模块具有以下函数(对单个时间序列值进行运算)

  • convolve,laggedConvolve卷积运算
  • crosscorrelate,laggedCrosscorrelate交叉关联
  • rms方根均值

3. 距离模块具有以下函数(对单个时间序列值进行运算)

  • dtw动态时间规整dynamic time warping (DTW)
  • dtw_itakura     Itakura Parallelogram DTW
  • dtw_sakoe_chiba     Sakoe-Chiba Band based DTW
  • lcss     longest common subsequence (LCSS)最长公共子序列
  • lpNorm     Lp范式

4. 数据生成模块具有以下函数Operator(自动生成时间序列数据流)

  • Generator正弦,三角,锯齿,或脉冲串

5. 数据生成模块具有以下函数

  • generate_pulsetrain_wave
  • generate_sawtooth_wave
  • generate_sine_wave
  • generate_square_wave
  • generate_triangular_wave

6. 建模模块具有以下函数Operator((对时间序列数据流进行连续运算)

  • ARIMA2自回归积分滑动平均模型
  • AutoForecaster2时间序列值自动预报
  • FMPFilter自适应褪色记忆多项式滤波器,用于跟踪、平滑、离群值、异常检测
  • GAMLearner广义可加模型
  • GAMScorer利用广义可加模型打分
  • GMM混合高斯模型,用于概率估计和离群值、异常值检测
  • HoltWinters2三次指数平滑法,用于长期预报
  • KMeansClusteringKMeans聚类分析
  • Kalman卡尔曼滤波器,用于跟踪、平滑和自适应时间序列数据。
  • LPC线性预测编码
  • RLSFilter递归最小二乘(RLS),预测
  • VAR2,Granger因果关系算法,用于近期预测、异常检测。
  • IncrementalInterpolate增量插补,计算遗漏值
  • ReSample重采样
  • TSWindowing窗函数,包括 Hamming, Hann, Blackman, Cosine, 和Triangle

Streams TimeSeries 工具包通过许多操作符进行了完善,能够建立预报、跟踪、回归和预测模型。在一些真实场景中,输入时间序列可能更改它的频率范围或者可能不断造成干扰,或者开始丢失数据。使用这些质量糟糕的数据来构建模型可能导致糟糕的性能。因此,在数据质量下降时,必须执行重新构建模型或暂停更新模型参数的过程。而在运行时这么做是一大挑战。

TimeSeries 工具包的建模操作符通过使用一个控制端口来接受特定的控制信号,促进了模型的再培训、暂停或恢复。一旦在输入数据中检测到异常或变更,就可以向建模操作符发送控制信号,让其更改其行为。但是,这个控制信号应与所监视的数据同步,否则会导致模型中异常数据泛滥。例如,控制信号的细微延迟可能导致对坏数据进行模型培训。在流环境中,控制这一延迟非常棘手,因为无法保证控制信号和数据在操作符之间的移动速度。

可以考虑预报某个区域的电力使用情况的示例。在模型构建周期中,必须忽略小电力故障,否则可能在预报期间产生失真的结果。小故障或超出范围的数据需要丢弃,控制端口特性可帮助实现此目的。Streams可以将控制信号的检测和提交与用于模型学习的数据进行同步。

慧都控件网超级促销月,全场6折起,豪礼抢不停>>>

截止时间:2016年11月30日

更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>

详情请咨询在线客服

客服热线:023-66090381

© 著作权归作者所有

勿忘初心321
粉丝 17
博文 105
码字总数 180970
作品 0
江北
私信 提问
初探Kafka Streams

Kafka在0.10版本推出了Stream API,提供了对存储在Kafka内的数据进行流式处理和分析的能力。 本文将从流式计算出发,之后介绍Kafka Streams的特点,最后探究Kafka Streams的架构。 什么是流式...

丞一
2018/01/06
0
0
使用 Atom 格式表达社交对象

简介: 社交网站的流行催生了一个新的 Web 订阅源标准,即 Activity Streams,它用于表达人们正在网上做什么。Activity Streams 是 Atom 格式的一个扩展,网站可以使用 Activity Streams 发布...

小编辑
2010/07/20
439
0
深入剖析 Redis5.0 全新数据结构 Streams(消息队列的新选择)

点击上方“芋道源码”,选择“置顶公众号” 技术文章第一时间送达! 来源:阿飞的博客 Redis 5.0 全新的数据类型:streams,官方把它定义为:以更抽象的方式建模日志的数据结构。Redis的str...

芋道源码
2018/10/24
0
0
Apache Streams 0.3-incubating 发布

Apache Streams 0.3-incubating 发布了,这是一个实现了 ActivityStreams 技术的轻量级框架。更新如下: support for graph databases via streams-persist-graph improvements to streams-......

局长
2016/10/05
466
0
Java I/O Streams

原文:https://docs.oracle.com/javase/tutorial/essential/io/streams.html 前言 Java中基础的I/O知识包括两方面:I/O Streams 和 File I/O。这部分学习I/O Streams。 I/O Streams I/O Stre......

琚建飞
03/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

HashMap源码分析

read

V丶zxw
33分钟前
4
0
Python字符串或JSON字符串转字典dict、列表list

有3种方法 1、使用ast模块 >>> import ast>>> s = '["test",1]'>>> ast.literal_eval(s)['test',1]>>> s = '{"test":1}'>>> ast.literal_eval(s){'test': 1} 2、eval函数,这个......

编程老陆
52分钟前
5
0
【JS复习笔记】03 继承(从ES5到ES6)

本文转载于:专业的前端网站➫【JS复习笔记】03 继承(从ES5到ES6) 前言 很久以前学习《Javascript语言精粹》时,写过一个关于js的系列学习笔记。 最近又跟别人讲什么原型和继承什么的,发现...

前端老手
55分钟前
8
0
简单动态网站搭建

如何在windows服务器上配置wordPress和discuz 网站建设中的概念讲解 网站建设的基础操作 网站程序的基础使用 网站程序的优化 简单动态网站搭建 软件部署 域名和主机的购买 域名解析 环境部署...

达达前端小酒馆
今天
6
0
Java每日面试题_03

15、构造器是否可被override constructor(构造器)不能被继承,所以不能被override(重写),但是可以被overloading(重载)。 16、抽象类和接口的区别 抽象类是什么 含有abstract修饰符的class即...

庭前云落
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部