文档章节

别再嘴炮概念了!大数据是硬汉之战,你的肌肉呢?

 透明的鱼
发布于 2018/07/31 10:18
字数 1839
阅读 1
收藏 0

华盛顿大学奥林商学院做过一个调查,10年内,世界五百强企业榜单中,40%将会消失。

以前的企业讲究聚沙成塔——

埋头苦干、一砖一瓦,从崭露头角到行业先锋,终换得大厦平地起。

现在聪明的筑塔人都转去逐浪。踩在互联网这一浪上,看着下一浪的浮现,他们在等新IT(Intelligence Technology)底层技术成熟。

作为机敏的鲨鱼,leader们左右嗅嗅,会闻到海水中的血腥味儿。随着他们弄懂如何改造效率低下的公司,从而更好、更快、更廉价地为消费者提供一切的时候,旧的系统、故步自封的垄断者将会崩溃。

熟悉科技前沿领域的业内人士有一个共识,目前,如果把AI、机器人管家、脑机接口、智能穿戴等领域视为一个个天资聪颖、潜能无限的婴儿,那哺育他们的“奶粉”必须是高质量、且经过处理的数据——尤其是实时数据。

由实时数据处理引发的应用,往往会颠覆绝大多数人对效率的认知。比如,物联网IoT领域中,实时的设备数据分析可以在1秒内检测出系统故障,同时做出维护性的预测;在金融领域,交易系统的数据不止需要实时呈现给客户,更重要的是以最快速度,递交自动交易系统进行处理;IT领域,软件系统的日志收集和处理对服务异常报警和故障的检测至关重要;而在交通领域,实时的交通数据经由处理,已经用来做交通指挥的优化。

最具有代表性的是电商,那些因新零售拔地而起的平台,握有海量用户交易数据和后台商品更新数据,此类数据对实时性的要求极高:交易处理,后台呈现,支付后的快速响应,以及出现纠纷时的解决……都仰仗着服务器支撑。特别是现在打折,促销,秒杀,砍价等营销模式层出不穷,如果系统出现问题,那么电商平台失去的流量与承受的损失将十分巨大。因此接入信息,监管商品交易数据并且做到实时处理,这对于此类企业来说尤为重要。

此外,大数据时代,企业销售端的进军方向会逐步靠拢到智能推荐系统。传统的推荐系统采用定期对数据进行分析的做法来更新模型。因其定期更新的特性,推荐模型无法保持实时,对用户当前的行为推荐结果不够精准。在此类场景中,实时数据分析便等同于一眼看透消费者的导购。

新IT浪潮中,实时的数据收集与基于数据的分析处理已经是大势所趋。但在数据种类越来越多,产生速度越来越快,数据量越来越大的当下,许多企业正面临技术与设备的限制,实时数据处理的技术壁垒已浮出水面。总结来说,主要的困难在于:

1、数据量非常大;系统要求非常高,处理数据时,容不得丝毫故障甚至宕机,实时处理的系统要求也远远高于离线系统。

2、实时处理系统规模跟不上业务增长的需求;很多实时数据(比如金融的K线分析)需要专门的时序数据库技术,而这些技术并不普及。

3、自行搭建开源组件,比如Kafka, Storm和Hbase,不是一件容易的事情,Hadoop开源组件的部署和运维都需要耗费大量的金钱和人力。

究其根本,实时数据处理的三个最根本的需求是:数据的接入,数据的实时分析处理,和数据的存储。针对日益增长的,在云上对数据进行实时处理的需求,华为云EI服务产品部开发了实时数据处理“三剑客”:

数据接入服务(DIS)实时流计算服务(Cloud Stream Service,简称CS)和表格存储服务(CloudTable)。

• 数据接入服务(DIS)是华为云提供的完全托管的实时数据接入服务。DIS提供了灵活数据采集、高效数据传输、实时数据分发能力,让使用者轻松构建基于实时数据的分析和应用。

• 实时流计算服务(CS)是实时流式大数据分析服务,完全托管计算资源和Serverless体验,即时执行作业,提供低延时高吞吐的智能流计算平台。

• 表格存储服务(CloudTable)是基于Apache

HBase提供的分布式、可伸缩、全托管的NoSQL数据存储服务,提供了毫秒级的随机读写能力,适用于海量结构化数据、半结构化数据存储和查询应用。同时基于OpenTSDB和GeoMesa提供时序数据库能力和时空大数据查询、分析能力。

何达炳曾在微博上回应过Anil

Menon:“谁来判断华为创新能力?应该是市场和客户。”目前华为云上已有诸多标杆客户使用“三剑客”服务对实时数据进行处理。某燃气集团,通过使用DIS,

CS和CloudTable构建了新的覆盖全国的巡线系统,将巡线实时监控系统端到端查询性能从十几秒降低到秒级以内。某金融初创企业,实时交易行情系统充分利用CloudTable内置的OpenTSDB能力,实时快速刷新15种时间窗的K线行情。某网络零售实时舆情系统,使用DIS接入数据的性价比远远超越线下自建系统,使用CS进行SQL编程轻松完成数据清洗。

互联网从蛮荒生长到深耕细作不过几年,伴随着市场的成熟,如何提供更好的服务、更快的数据决策,成为竞争的关键点。实时数据处理作为其中的一项关键技术,自然在业界中广泛流行。“借技术起势能”,最大限度地挖掘“热数据”的价值,成为各大企业的共识。

我们生活在一个不断瓦解的时代,不过这是一件好事。

行业会被颠覆,大公司会垮掉。

多少企业、投资人和创业者,未意识到新IT时代的到来,只顾在互联网+O2O的960万平方公里的大床上HIGH得如痴如醉时,千帆已过。

抓住实时数据处理这一浪。

© 著作权归作者所有

粉丝 0
博文 96
码字总数 153598
作品 0
私信 提问
宿命之战:程序员VS产品经理,可以拍成一部电影了...

来源:吓脑湿 产品经理のShow Time 开发のShow Time 罪状展示 臆想时间 第一回合:需求之战 第二回合:时间之战 第三回合:知识之战 第四回合:嘴炮之战 第五回合:数据之战 第六回合:引诱之...

陈序元
2018/08/31
0
0
英国科学家研发基于人工智能的软件 据称可检测假笑

据外媒报道,英国布拉德福德大学的科学家们已经开发出据称可以检测假笑的软件。该软件能够评估微笑的人的视频,准确地判断他们的笑容是否真实。 在Hassan Ugail教授的带领下,研究人员开始使...

稿源:
07/31
0
0
@自我怀疑的开发者:你够优秀吗?

点击上方“CSDN”,选择“置顶公众号” 关键时刻,第一时间送达! 本文经授权转自承香墨影公众号,翻译已获原作者Sihui Huang授权。 编者按:我想每个开发者在学习成长的过程中,在面临技术难...

csdnnews
2018/01/07
0
0
自我怀疑的开发者:你够好吗?

作者:Sihui Huang 译者:承香墨影 我想每个开发者在学习成长的过程中,在面临技术难题的时候,都有经历过自我怀疑的过程,但是有时候这并不是你的错,大家都经历过如此的过程。我们作为一个...

2017/12/22
0
0
孩子也有两条底线,是父母碰不得的,碰了就是在打击他的自尊心

  孩子也有很强的自尊心,有时候父母自以为是,觉得孩子是自己生的,自己养的,说他两句都不行吗?事实上是真的不行,父母用不对方式、分不清场合,对孩子的伤害是巨大的。孩子也有两条底线...

人工智能机器人
2018/06/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Navicat 快捷键

操作 结果 ctrl+q 打开查询窗口 ctrl+/ 注释sql语句 ctrl+shift +/ 解除注释 ctrl+r 运行查询窗口的sql语句 ctrl+shift+r 只运行选中的sql语句 F6 打开一个mysql命令行窗口 ctrl+l 删除一行 ...

低至一折起
52分钟前
5
0
PyTorch入门笔记一

张量 引入pytorch,生成一个随机的5x3张量 >>> from __future__ import print_function>>> import torch>>> x = torch.rand(5, 3)>>> print(x)tensor([[0.5555, 0.7301, 0.5655],......

仪山湖
今天
5
0
OSChina 周二乱弹 —— 开发语言和语言开发的能一样么

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @花间小酌:#今日歌曲推荐# 分享The Score的单曲《Revolution》 《Revolution》- The Score 手机党少年们想听歌,请使劲儿戳(这里) @批判派...

小小编辑
今天
2.6K
19
oracle ORA-39700: database must be opened with UPGRADE option

ORA-01092: ORACLE instance terminated. Disconnection forced ORA-00704: bootstrap process failure ORA-39700: database must be opened with UPGRADE option 进程 ID: 3650 会话 ID: 29......

Tank_shu
今天
3
0
分布式协调服务zookeeper

ps.本文为《从Paxos到Zookeeper 分布式一致性原理与实践》笔记之一 ZooKeeper ZooKeeper曾是Apache Hadoop的一个子项目,是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它...

ls_cherish
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部