文档章节

大数据架构的未来

Mr_zebra
 Mr_zebra
发布于 2017/07/25 17:27
字数 665
阅读 7
收藏 0

本文讲述了大数据的相关问题,以及“大数据架构”得名的由来。

大数据的问题

或许所有读者都明白这一点:数据正在飞速增长。若是能够有效利用的话,我们能从这些数据中找到非常有价值的见解;传统技术有很多都是在40年前设计的,比如RDBMSs,不足以创造“大数据”炒作所宣称的商业价值。在大数据技术的使用上,常见的案例是“客户单一视图”;将关于客户所知道的一切内容放在一起,以便最大化服务提供与自身收入,比如确定具体需要采用什么促销方式,又是在什么时候、通过什么渠道来发送。

尽管大数据的问题在于,让我们将这种潜力变为现实,高等级的关键功能至少包括下面这些能力:

  • 合并信息孤井、外在因素与数据流;
  • 控制数据访问;
  • 根据需要转化数据;
  • 整合数据;
  • 为数据分析提供工具;
  • 发布数据报告;
  • 将见解体现在运营过程中;
  • 最小化工作完成的总拥有成本与响应时间。

用数据湖作为答案

很多公司正在观望一个被某些人称为数据湖的架构,这个数据平台在合并信息孤井数据流以及在单独的逻辑位置中执行数据持久化方面具有灵活性,能够从企业自身以及第三方的数据中挖掘出见解。将Hadoop(包括Spark在内)用于数据湖已成大势所趋,原因很多:使用总拥有成本较低的普通硬件就能进行扩展,允许用读时模式(schema-on-read)收取大量数据,支持开源,包括用SQL和普通语言构建分布式处理层。此外,像雅虎和谷歌这样的webscale公司都是早期标杆,借用这种架构在解决网站索引相关的问题时获得了巨大的成功。

点击查看全文

本文转载自:http://click.aliyun.com/m/26653/

Mr_zebra
粉丝 28
博文 1197
码字总数 4194
作品 0
私信 提问
IDC分析师关于中国大数据市场的十大预测

随着云计算概念日渐深入人心,大数据也越来越受到关注。IDC在长期对云计算市场进行跟踪研究的同时,也对大数据市场保持着密切关注。IDC将大 数据技术定义为:“为了更为经济的从高频率获取的...

oschina
2012/11/14
2.3K
9
智能时代 软件赋能——2017中国软件技术大会

作为国内顶级软件技术盛会之一,2017中国软件技术大会即将于2017年12月8-9日在北京· 国家会议中心拉开帷幕。 大会主题:智能时代 软件赋能 大会亮点:50多场技术演讲,汇集知名技术大咖、行...

玄学酱
2018/03/16
0
0
vivo互联网技术沙龙-亿级用户的智能体验交付之路

活动介绍 自 2009 年深度学习崛起以来,越来越多的手机厂商投身这波 AI 浪潮,而人工智能确实也正在变革手机产业:从芯片、摄像头到 App,我们能够看到手机中越来越多的 AI 元素。作为全球知...

vivo互联网技术
03/22
36
0
GIAC2017全球互联网架构大会12月在上海举行,最新日程抢先看!

12月22日至23日,多为业界技术大咖将齐聚上海,共同探讨技术变革新趋势。 12月22日至23日,高可用架构和msup联合主办的GIAC 全球互联网架构大会将于上海举行。GIAC 全球互联网架构大会是高可...

行者武松
2018/04/18
0
0
第九届中国数据库技术大会:邀您开启技术人生下一个十年

DTCC已经悄然来到了第九届,同样是成长的9年,不断变化的大会主题,适应时代潮流技术的新议题,都是反复调整和适应的结果,这中间也有坚持:始终关注大数据、数据库的变化和更迭能给我们带来...

码云Gitee
2018/01/10
94
0

没有更多内容

加载失败,请刷新页面

加载更多

好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
今天
6
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
今天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
今天
10
0
再见 Spring Boot 1.X,Spring Boot 2.X 走向舞台中心

2019年8月6日,Spring 官方在其博客宣布,Spring Boot 1.x 停止维护,Spring Boot 1.x 生命周期正式结束。 其实早在2018年7月30号,Spring 官方就已经在博客进行过预告,Spring Boot 1.X 将维...

Java技术剑
今天
17
0
浅谈java过滤器Filter

一、简介 Servlet中的过滤器Filter是实现了javax.servlet.Filter接口的服务器端程序,主要的用途是过滤字符编码、做一些业务逻辑判断如是否有权限访问页面等。其工作原理是,只要你在web.xml...

青衣霓裳
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部