文档章节

大数据架构的未来

Mr_zebra
 Mr_zebra
发布于 2017/07/25 17:27
字数 665
阅读 7
收藏 0

本文讲述了大数据的相关问题,以及“大数据架构”得名的由来。

大数据的问题

或许所有读者都明白这一点:数据正在飞速增长。若是能够有效利用的话,我们能从这些数据中找到非常有价值的见解;传统技术有很多都是在40年前设计的,比如RDBMSs,不足以创造“大数据”炒作所宣称的商业价值。在大数据技术的使用上,常见的案例是“客户单一视图”;将关于客户所知道的一切内容放在一起,以便最大化服务提供与自身收入,比如确定具体需要采用什么促销方式,又是在什么时候、通过什么渠道来发送。

尽管大数据的问题在于,让我们将这种潜力变为现实,高等级的关键功能至少包括下面这些能力:

  • 合并信息孤井、外在因素与数据流;
  • 控制数据访问;
  • 根据需要转化数据;
  • 整合数据;
  • 为数据分析提供工具;
  • 发布数据报告;
  • 将见解体现在运营过程中;
  • 最小化工作完成的总拥有成本与响应时间。

用数据湖作为答案

很多公司正在观望一个被某些人称为数据湖的架构,这个数据平台在合并信息孤井数据流以及在单独的逻辑位置中执行数据持久化方面具有灵活性,能够从企业自身以及第三方的数据中挖掘出见解。将Hadoop(包括Spark在内)用于数据湖已成大势所趋,原因很多:使用总拥有成本较低的普通硬件就能进行扩展,允许用读时模式(schema-on-read)收取大量数据,支持开源,包括用SQL和普通语言构建分布式处理层。此外,像雅虎和谷歌这样的webscale公司都是早期标杆,借用这种架构在解决网站索引相关的问题时获得了巨大的成功。

点击查看全文

本文转载自:http://click.aliyun.com/m/26653/

共有 人打赏支持
Mr_zebra
粉丝 24
博文 1098
码字总数 509
作品 0
私信 提问
IDC分析师关于中国大数据市场的十大预测

随着云计算概念日渐深入人心,大数据也越来越受到关注。IDC在长期对云计算市场进行跟踪研究的同时,也对大数据市场保持着密切关注。IDC将大 数据技术定义为:“为了更为经济的从高频率获取的...

oschina
2012/11/14
2.3K
9
智能时代 软件赋能——2017中国软件技术大会

作为国内顶级软件技术盛会之一,2017中国软件技术大会即将于2017年12月8-9日在北京· 国家会议中心拉开帷幕。 大会主题:智能时代 软件赋能 大会亮点:50多场技术演讲,汇集知名技术大咖、行...

玄学酱
03/16
0
0
GIAC2017全球互联网架构大会12月在上海举行,最新日程抢先看!

12月22日至23日,多为业界技术大咖将齐聚上海,共同探讨技术变革新趋势。 12月22日至23日,高可用架构和msup联合主办的GIAC 全球互联网架构大会将于上海举行。GIAC 全球互联网架构大会是高可...

行者武松
04/18
0
0
第九届中国数据库技术大会:邀您开启技术人生下一个十年

DTCC已经悄然来到了第九届,同样是成长的9年,不断变化的大会主题,适应时代潮流技术的新议题,都是反复调整和适应的结果,这中间也有坚持:始终关注大数据、数据库的变化和更迭能给我们带来...

码云Gitee
01/10
83
0
[免费赠票] 第九届中国云计算大会日程曝光

第九届中国云计算大会将于2017年6月14-16日在北京国家会议中心如期举行。“架构师技术联盟”自媒体再度与主办方合作,给读者们带来了免费赠票福利,机会难得、赠完即止(点击原文链接申请),也...

hardywang
06/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

mac 下 mysql 8.0.13 安装并记录遇到的问题 以便以后查看

安装 官网mysql 下载地址 安装过程 省去 安装好之后 下载navicat 错误1 链接 遇到 mysql 2003 - Can't connect to MySQL server 错误, 解决方案 重启mysql 服务 #错误2 ERROR 1045: Acces...

杭州-IT攻城狮
37分钟前
3
0

中国龙-扬科
40分钟前
1
0
[Spring4.x]基于spring4.x纯注解的Web工程搭建

在前文中已经说明了如何基于 Spring4.x+ 版本开发纯注解的非web项目,链接如下: https://my.oschina.net/morpheusWB/blog/2985600 本文则主要说明,如何在Web项目中,"基于spring纯注解方式...

morpheusWB
今天
13
0
基础编程题目集-7-13 日K蜡烛图

股票价格涨跌趋势,常用蜡烛图技术中的K线图来表示,分为按日的日K线、按周的周K线、按月的月K线等。以日K线为例,每天股票价格从开盘到收盘走完一天,对应一根蜡烛小图,要表示四个价格:开...

niithub
今天
5
0
Jenkins window 下的安装使用

1.下载:https://jenkins.io/download/ 双击安装完毕,将自动打开浏览器: http://localhost:8080 打开对应位置的文件,将初始密钥粘贴至输入框。 第一个是 安装默认的软件;第二个是 自定义...

狼王黄师傅
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部