文档章节

大数据架构的未来

Mr_zebra
 Mr_zebra
发布于 2017/07/25 17:27
字数 665
阅读 6
收藏 0
点赞 0
评论 0

本文讲述了大数据的相关问题,以及“大数据架构”得名的由来。

大数据的问题

或许所有读者都明白这一点:数据正在飞速增长。若是能够有效利用的话,我们能从这些数据中找到非常有价值的见解;传统技术有很多都是在40年前设计的,比如RDBMSs,不足以创造“大数据”炒作所宣称的商业价值。在大数据技术的使用上,常见的案例是“客户单一视图”;将关于客户所知道的一切内容放在一起,以便最大化服务提供与自身收入,比如确定具体需要采用什么促销方式,又是在什么时候、通过什么渠道来发送。

尽管大数据的问题在于,让我们将这种潜力变为现实,高等级的关键功能至少包括下面这些能力:

  • 合并信息孤井、外在因素与数据流;
  • 控制数据访问;
  • 根据需要转化数据;
  • 整合数据;
  • 为数据分析提供工具;
  • 发布数据报告;
  • 将见解体现在运营过程中;
  • 最小化工作完成的总拥有成本与响应时间。

用数据湖作为答案

很多公司正在观望一个被某些人称为数据湖的架构,这个数据平台在合并信息孤井数据流以及在单独的逻辑位置中执行数据持久化方面具有灵活性,能够从企业自身以及第三方的数据中挖掘出见解。将Hadoop(包括Spark在内)用于数据湖已成大势所趋,原因很多:使用总拥有成本较低的普通硬件就能进行扩展,允许用读时模式(schema-on-read)收取大量数据,支持开源,包括用SQL和普通语言构建分布式处理层。此外,像雅虎和谷歌这样的webscale公司都是早期标杆,借用这种架构在解决网站索引相关的问题时获得了巨大的成功。

点击查看全文

本文转载自:http://click.aliyun.com/m/26653/

共有 人打赏支持
Mr_zebra
粉丝 3
博文 532
码字总数 0
作品 0
智能时代 软件赋能——2017中国软件技术大会

作为国内顶级软件技术盛会之一,2017中国软件技术大会即将于2017年12月8-9日在北京· 国家会议中心拉开帷幕。 大会主题:智能时代 软件赋能 大会亮点:50多场技术演讲,汇集知名技术大咖、行...

玄学酱 ⋅ 03/16 ⋅ 0

GIAC2017全球互联网架构大会12月在上海举行,最新日程抢先看!

12月22日至23日,多为业界技术大咖将齐聚上海,共同探讨技术变革新趋势。 12月22日至23日,高可用架构和msup联合主办的GIAC 全球互联网架构大会将于上海举行。GIAC 全球互联网架构大会是高可...

行者武松 ⋅ 04/18 ⋅ 0

新华三助力公安构建新IT“警盾”

8月24日,在中国公安部指导下,人民公安报社携手公安部科信局领导、各省市公安系统科信部相关领导、云计算及大数据行业专家、产业链合作伙伴等,在浙江海宁召开了2017公安行业云计算与大数据...

玄学酱 ⋅ 03/07 ⋅ 0

大数据投资人必读:中国大数据发展与投资分析报告

当前,全球已进入大数据时代,大数据正以一种革命风暴的姿态闯入人们视野,其技术和市场在快速发展,而驾驭大数据的呼声则一浪高过一浪。随着大数据蕴涵价值的逐步释放,使其成为IT信息产业中...

玄学酱 ⋅ 05/11 ⋅ 0

北京供销大数据集团BGP网络商用 经实测网络质量优异

等线近日,北京供销大数据集团(SinoBBD)BGP网络正式商用,SinoBBD与中国电信、中国联通、中国移动、中国铁通、教育网直签BGP网络资源全面开通。这是继北京、承德、贵阳数据中心节点上线后,...

玄学酱 ⋅ 03/28 ⋅ 0

基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

摘要: 数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台。 本次分享嘉...

阿里云云栖社区 ⋅ 03/15 ⋅ 0

百分点董事长苏萌:大数据落地有五大要素

国内大数据市场正在迅速升温,百分点集团宣布获得由光大证券领投的4亿元人民币D轮融资,同时发布全球首款企业级大数据操作系统(BD-OS)。 百分点董事长苏萌在今天的融资发布会上透露,百分点...

玄学酱 ⋅ 02/22 ⋅ 0

阿里百万年薪大数据分析师分析大数据十大发展趋势

虽然大数据市场将会继续增长这一点毋庸置疑,但企业应该如何应用大数据呢?目前还没有一个清楚的答案。新的大数据技术正在进入市场,而一些旧技术的使用还在继续增长。本文涵盖大数据未来发展...

JAVA丶学习 ⋅ 04/24 ⋅ 0

2017年大数据发展的十大趋势预测

2016年,近40%的公司开始或正在实施和扩展大数据技术应用,另有30%的公司计划在未来12个月内采用大数据技术。2016年NewVantagePartners的大数据管理调查发现,62.5%的公司现在至少有一个大数...

玄学酱 ⋅ 05/02 ⋅ 0

北京供销大数据集团探索数据中心运维“新趋势”

2017年3月28日,以“突破·重塑”为主题的2017年数据中心设施论坛(北京站)在北京万达索菲特酒店召开。本次大会由中国互联网协会数据中心运营工作组主办,聚焦数据中心行业热点话题,旨在为...

玄学酱 ⋅ 04/16 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Jenkins实践3 之脚本

#!/bin/sh# export PROJ_PATH=项目路径# export TOMCAT_PATH=tomcat路径killTomcat(){pid=`ps -ef | grep tomcat | grep java|awk '{print $2}'`echo "tom...

晨猫 ⋅ 今天 ⋅ 0

Spring Bean的生命周期

前言 Spring Bean 的生命周期在整个 Spring 中占有很重要的位置,掌握这些可以加深对 Spring 的理解。 首先看下生命周期图: 再谈生命周期之前有一点需要先明确: Spring 只帮我们管理单例模...

素雷 ⋅ 今天 ⋅ 0

zblog2.3版本的asp系统是否可以超越卢松松博客的流量[图]

最近访问zblog官网,发现zlbog-asp2.3版本已经进入测试阶段了,虽然正式版还没有发布,想必也不久了。那么作为aps纵横江湖十多年的今天,blog2.2版本应该已经成熟了,为什么还要发布这个2.3...

原创小博客 ⋅ 今天 ⋅ 0

聊聊spring cloud的HystrixCircuitBreakerConfiguration

序 本文主要研究一下spring cloud的HystrixCircuitBreakerConfiguration HystrixCircuitBreakerConfiguration spring-cloud-netflix-core-2.0.0.RELEASE-sources.jar!/org/springframework/......

go4it ⋅ 今天 ⋅ 0

二分查找

二分查找,也称折半查找、二分搜索,是一种在有序数组中查找某一特定元素的搜索算法。搜素过程从数组的中间元素开始,如果中间元素正好是要查找的元素,则搜素过程结束;如果某一特定元素大于...

人觉非常君 ⋅ 今天 ⋅ 0

VS中使用X64汇编

需要注意的是,在X86项目中,可以使用__asm{}来嵌入汇编代码,但是在X64项目中,再也不能使用__asm{}来编写嵌入式汇编程序了,必须使用专门的.asm汇编文件来编写相应的汇编代码,然后在其它地...

simpower ⋅ 今天 ⋅ 0

ThreadPoolExecutor

ThreadPoolExecutor public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, ......

4rnold ⋅ 昨天 ⋅ 0

Java正无穷大、负无穷大以及NaN

问题来源:用Java代码写了一个计算公式,包含除法和对数和取反,在页面上出现了-infinity,不知道这是什么问题,网上找答案才明白意思是负的无穷大。 思考:为什么会出现这种情况呢?这是哪里...

young_chen ⋅ 昨天 ⋅ 0

前台对中文编码,后台解码

前台:encodeURI(sbzt) 后台:String param = URLDecoder.decode(sbzt,"UTF-8");

west_coast ⋅ 昨天 ⋅ 0

实验楼—MySQL基础课程-挑战3实验报告

按照文档要求创建数据库 sudo sercice mysql startwget http://labfile.oss.aliyuncs.com/courses/9/createdb2.sqlvim /home/shiyanlou/createdb2.sql#查看下数据库代码 代码创建了grade......

zhangjin7 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部