文档章节

大数据架构的未来

Mr_zebra
 Mr_zebra
发布于 2017/07/25 17:27
字数 665
阅读 7
收藏 0

本文讲述了大数据的相关问题,以及“大数据架构”得名的由来。

大数据的问题

或许所有读者都明白这一点:数据正在飞速增长。若是能够有效利用的话,我们能从这些数据中找到非常有价值的见解;传统技术有很多都是在40年前设计的,比如RDBMSs,不足以创造“大数据”炒作所宣称的商业价值。在大数据技术的使用上,常见的案例是“客户单一视图”;将关于客户所知道的一切内容放在一起,以便最大化服务提供与自身收入,比如确定具体需要采用什么促销方式,又是在什么时候、通过什么渠道来发送。

尽管大数据的问题在于,让我们将这种潜力变为现实,高等级的关键功能至少包括下面这些能力:

  • 合并信息孤井、外在因素与数据流;
  • 控制数据访问;
  • 根据需要转化数据;
  • 整合数据;
  • 为数据分析提供工具;
  • 发布数据报告;
  • 将见解体现在运营过程中;
  • 最小化工作完成的总拥有成本与响应时间。

用数据湖作为答案

很多公司正在观望一个被某些人称为数据湖的架构,这个数据平台在合并信息孤井数据流以及在单独的逻辑位置中执行数据持久化方面具有灵活性,能够从企业自身以及第三方的数据中挖掘出见解。将Hadoop(包括Spark在内)用于数据湖已成大势所趋,原因很多:使用总拥有成本较低的普通硬件就能进行扩展,允许用读时模式(schema-on-read)收取大量数据,支持开源,包括用SQL和普通语言构建分布式处理层。此外,像雅虎和谷歌这样的webscale公司都是早期标杆,借用这种架构在解决网站索引相关的问题时获得了巨大的成功。

点击查看全文

本文转载自:http://click.aliyun.com/m/26653/

共有 人打赏支持
Mr_zebra
粉丝 9
博文 785
码字总数 0
作品 0
智能时代 软件赋能——2017中国软件技术大会

作为国内顶级软件技术盛会之一,2017中国软件技术大会即将于2017年12月8-9日在北京· 国家会议中心拉开帷幕。 大会主题:智能时代 软件赋能 大会亮点:50多场技术演讲,汇集知名技术大咖、行...

玄学酱
03/16
0
0
GIAC2017全球互联网架构大会12月在上海举行,最新日程抢先看!

12月22日至23日,多为业界技术大咖将齐聚上海,共同探讨技术变革新趋势。 12月22日至23日,高可用架构和msup联合主办的GIAC 全球互联网架构大会将于上海举行。GIAC 全球互联网架构大会是高可...

行者武松
04/18
0
0
[免费赠票] 第九届中国云计算大会日程曝光

第九届中国云计算大会将于2017年6月14-16日在北京国家会议中心如期举行。“架构师技术联盟”自媒体再度与主办方合作,给读者们带来了免费赠票福利,机会难得、赠完即止(点击原文链接申请),也...

hardywang
06/27
0
0
新华三助力公安构建新IT“警盾”

8月24日,在中国公安部指导下,人民公安报社携手公安部科信局领导、各省市公安系统科信部相关领导、云计算及大数据行业专家、产业链合作伙伴等,在浙江海宁召开了2017公安行业云计算与大数据...

玄学酱
03/07
0
0
关于想做大数据 或者转行做大数据。

一、我们先来讨论下大数据是不是值得大家从事的一项职业,如如下问题。 大数据为啥这么有诱惑力,是否值得投入,现在进去晚了吗? 首先,大数据企业众多,逐步形成产业化。从08年开始,大数据...

董黎明
08/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Java中的移位运算符

国庆给自己放了个小长期二十几天,回来继续更新专栏 上一篇文章我们说了Java里的二进制,知道了计算机是以0和1来处理数据的,在阅读源码的过程中,经常会看到这些符号<< ,>>,>>>,这些符号...

SuShine
26分钟前
2
0
linux版QQ

下载地址在这 http://yun.tzmm.com.cn/index.php/s/XRbfi6aOIjv5gwj Appimage包不用做什么别的处理,安装啥的都不需要。。找到文件所在目录,终端中修改一下文件的权限 chmod 777 QQ-2017112...

悲催的古灵武士
32分钟前
1
0
咕泡-MyBatis 实用篇作业

1. Mapper在spring管理下其实是单例,为什么可以是一个单例? 首先,mapper 内部不包含 成员字段,无状态单例是安全的 另外,一直存在不用每次调用都new 一个新实例 2. MyBatis在Spring集成下...

职业搬砖20年
35分钟前
2
0
MQTT协议的初浅认识之连接建立

MQTT百科 MQTT(消息队列遥测传输)是ISO 标准(ISO/IEC PRF 20922)下基于发布/订阅范式的消息协议。它工作在 TCP/IP协议族上,是为硬件性能低下的远程设备以及网络状况糟糕的情况下而设计的发布...

亚林瓜子
51分钟前
1
0
OpenStack部署都有哪些方式

对于每一个刚接触到OpenStack的新人而言,安装无疑是最困难的,同时这也客观上提高了大家学习OpenStack云计算的技术门槛。想一想,自己3年前网上偶然接触到OpenStack时,一头茫然,手动搭建一...

tututu_jiang
52分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部