文档章节

一张图,带你读懂 IBM 云上真实洞察数据那些事

勿忘初心321
 勿忘初心321
发布于 2016/10/20 13:44
字数 1596
阅读 20
收藏 0

在传统的交易数据库系统中,伴随着客户的交易行为发生,在业务系统中产生了相应的交易数据,并保存在关系型数据库系统,从而形成了业务的交易记录,各类业务应用系统都是围绕着关系型数据库打交道。

cognos

当今,大家都已看到的现实状况是:

随着越来越多面向移动(mobile-oriented)的应用被大量企业/机构所使用,很多交易数据以 JSON 文档形式产生,并保存在 NoSQL 数据库系统中。

很多企业/机构建立了数据中心,并以数据仓库为主要技术去进行数据分析。数据从交易系统数据库抽取出来,经过转换处理,加载到数据仓库,才能让数据得以进行分析,这个就是众所周知的 ETL 处理流程。然而,这种分析是只能适合对“指定”业务问题进行分析和回答,其表现形式是让用户去查询信息,和用预先设计和建立好的模型来回答在指定范围内的业务问题,以及产生报表。最大的限制和不便就是要“指定”,如果要回答新的业务问题,将无法满足使用这些数据和信息人员的需求。

 

在最近 5年里,随着 Hadoop 平台系统和 DataLake 技术普及应用,出现了很多面向 Hadoop 开源厂商。他们把大量数据,各种不同种类的数据存放在 Hadoop中,并进行 ETL 处理,将其处理结果保存在 Hadoop。利用开源技术软件和廉价硬件,“充分”地去克服传统数据仓库技术所存在的限制,以良好扩充性,有条件地让存放的数据历史可以更长,目标只有一个,就是希望能回答更多的“新问题”。

能回答那么多“新问题”的分析系统必须是要面向企业级和跨部门,需具备较高级别的安全性和信息管治能力。恰恰 Hadoop 平台系统在这两方面都较弱;其次是,缺乏良好询问与回答问题的交互方式;再加上,Hadoop 很难与市场上大部分的分析工具软件配合使用,需要较复杂的开发技能,所有这些,都很大地制约了用户能在 Hadoop 平台系统上执行分析任务的空间。

但是,如果目前IT技术还停留在传统关系型数据和 SQL 技术,是难以解决数据分析已碰到问题。例如,物联网(IoT)设备产生的大量源数据都需要用新的方法去分析这些数据,在云上产生的数据也越来越多,非结构化数据隐藏着巨大的商业价值。

为了面对这些挑战和走出困境,IBM 公司给你提供一条灵活和强大分析能力的策略,并提供解决方案。它就是基于 IBM Bluemix 平台的 DataWorks 云技术和服务,超越了批处理方式并以流数据处理技术,从众多的数据区域中把所需要的数据抽过来,附加上有“内涵”的信息内容,加工成“内部数据”来帮助用户找到所需要的答案。我们用下面的例子来说明下,它就是通过 IBM’s Bluemix 平台对天气数据进行处理和分析。

cognos

1、数据采集:IBM DataWorks 能采集各种数据,支持范围广泛,手段有:ETL 批处理或是流式数据(streaming);一个实时流式数据分析引擎,和一个基于IoT-based 数据模式(Weather Company 提供标准)的采集引擎,具有高速和采集很大数据量的能力。

2、数据存放:一旦数据被采集进来后,IBM DataWorks 提供多种存放方式。对数据库而言,包括各种 NoSQL 数据存放格式(document, key-value, graph, columnar)到关系型(SQL-based)存放格式。 也支持对象存储,例如 Swift on Bluemix, Amazon’s S3 service 云端存储。

3、执行分析:IBM DataWorks 提供分析工具为不同级别的用户对每一类型数据进行分析,例如:针对业务分析人员提供了报表和仪表盘;应用开发平台提供给程序猿;数据管道、模型和信息统计工具提供给数据科学家使用等。

4、推广应用:一旦用户开发和使用分析工具软件,还能满意地找到了所关心问题的答案,

IBM DataWorks 提供了较简单的部署和推广应用方式。IBM Bluemix 平台为开发人员在整个应用开发阶段中提供支持,包括生命周期管理、与 Web 应用服务器和 Github 功能集成等; Cognos 和 Watson Analytics 支持企业级的报表系统部署。另外,DataWorks 还提供了包括信息治理模型和部署架构。 IBM DataWorks 秉承以云为第一,用户本地中心第二的宗旨,为用户提供服务与支持,这种强大的混合云模式给用户在云端上执行分析任务提供了广阔天地。IBM DataWorks 不但让用户以自助方式去完成分析任务,还提供了数据治理能力,体现在:

1.提供不同安全级别的用户权限控制,在符合法规条件下保护敏感数据;

2. 建立数据血缘关系(Data lineage)信息,让你更清楚数据跨越千山万水,从开始处理到最终分析的处理流程;

3. 业务术语/指标定义,建立业务术语/指标与技术描述定义的映射关系,填补了Hadoop data lakes 层面上元数据治理功能的缺失。

IBM DataWorks 采用 Apache SparkS 作为底层处理引擎技术,它提供了快速、灵活和可扩展的数据处理能力,IBM 对开源技术支持和突出贡献,让整个业界都看到了 IBM 正开创了一个“新 IBM”时代。

更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>

© 著作权归作者所有

勿忘初心321
粉丝 17
博文 105
码字总数 180970
作品 0
江北
私信 提问
收藏 | 100+篇大数据学习资讯,带你玩转大数据分析!

深度解析如何挑选适合自己的Hadoop平台 什么是Hadoop,怎样学习Hadoop 分布式文件系统HDFS解析 Hadoop开发人员基础课程之初识MapReduce HBase基础知识,面向列的实时分布式数据库 完全分布式...

勿忘初心321
2016/11/22
45
0
6月5日,IBM“云有‘智’,事竟成”大会邀您莅临!

云有“智”,事竟成 今天,企业云架构的定义与未来创新发展息息相关。云正紧密地参与着企业的转型与发展,包括驱动企业数字化创新,挖掘新洞察,协助企业开拓生态系统等等。 对每一个挑战传统...

qwerttaa
2018/05/22
878
0
2016 | 大数据平台类产品资讯汇总

InfoSphere Streams 平台支持流数据的实时处理,支持不断更新持续查询的结果,可在移动的数据流中检测洞察。 InfoSphere Streams——实时大数据分析平台 Streams V4.2新特性:支持使用 Pyth...

勿忘初心321
2016/11/25
23
0
阿里云MVP一张地图带你领略数据中国

2018年5月23日,武汉云栖大会Tech Insight-阿里云 MVP 专场首次亮相,便带领各参会者领略了数据驱动的数字化变革。 云栖大会Tech Insight由阿里云MVP为演讲嘉宾输出的精品分论坛,阿里云 MV...

阿里云服务
2018/05/30
0
0
诸葛io独家上线「太阳图」全局视角洞察用户

  【IT168 评论】数据智能决策平台诸葛io日前上线太阳图,这是另一种更直观的用于描述用户行为路径的“彩色同心圆”呈现方式,帮助企业从全局视角快速洞察用户行为的整体趋势,结合诸葛io已...

it168网站
2017/10/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot WebFlux 增删改查完整实战 demo

03:WebFlux Web CRUD 实践 前言 上一篇基于功能性端点去创建一个简单服务,实现了 Hello 。这一篇用 Spring Boot WebFlux 的注解控制层技术创建一个 CRUD WebFlux 应用,让开发更方便。这里...

泥瓦匠BYSocket
24分钟前
5
0
从0开始学FreeRTOS-(列表与列表项)-3

FreeRTOS列表&列表项的源码解读 第一次看列表与列表项的时候,感觉很像是链表,虽然我自己的链表也不太会,但是就是感觉很像。 在FreeRTOS中,列表与列表项使用得非常多,是FreeRTOS的一个数...

杰杰1号
27分钟前
4
0
Java反射

Java 反射 反射是框架设计的灵魂(使用的前提条件:必须先得到代表的字节码的 Class,Class 类 用于表示.class 文件(字节码)) 一、反射的概述 定义:JAVA 反射机制是在运行状态中,对于任...

zzz1122334
53分钟前
4
0
聊聊nacos的LocalConfigInfoProcessor

序 本文主要研究一下nacos的LocalConfigInfoProcessor LocalConfigInfoProcessor nacos-1.1.3/client/src/main/java/com/alibaba/nacos/client/config/impl/LocalConfigInfoProcessor.java p......

go4it
昨天
7
0
前端技术之:webpack热模块替换(HMR)

第一步:安装HMR中间件: npm install --save-dev webpack-hot-middleware 第二步:webpack配置中引入webpack对象 const webpack = require('webpack’); 第三步:增加devServer配置项: ho......

popgis
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部