文档章节

云计算和大数据:成功组合指南

 数据分析师
发布于 2015/02/09 12:04
字数 1316
阅读 7
收藏 0

在很多方面,云和大数据越来越密不可分且功能相似-云资源用来支撑大数据的存储及项目,而且大数据相对于云来说是一个庞大的业务案例。大数据和云技术的最终联姻,必定是天作之合。

    听起来虽然浪漫,但我们知道一种深度组合不可能在一夜之间就发生,它需要付出很多努力。云和大数据也不例外。

 

 

   大数据能带来什么?

在这个过份炒作的组合里,大数据除了那些好听的名词,大数据本身责任重大,大数据所有所要做的就是为你的组织机构带来有用的信息。但在把大数据技术应用前,请先回答以下这些问题:

    你拥有的数据到底有多庞大,你目前的架构能保证扩展这些量吗?

    你的数据在结构、半结构、非结构方面有什么特征?目前来说,你的系统架构和技术是否能支撑这些不同类型的数据?

    你的数据来自哪里?内部?外部? 开源数据?大数据随之带来是丰富的商业智能平台数据源,包括快速增长的新旧数据。  

最重要的是:在大数据真正应用初期,需要界定业务问题及大数据所能带来的价值。

 

 

   云能带来什么?

   如果大数据真的是主角,那么云则带来可靠、稳定的基础,例如,基础架构,提供一些多样化的架构选择:

    内部私有云:虚拟化、基于内部防火墙专注体系架构

    外部私有云:共享的、基于外部防火墙可定制的主机体系架构

    共有云:基于第三方的共享主机体系结构

    混合云:基于自有部署、私有云(内部、外部)和公有云的环境

云也同时加速了变革、敏捷化、高速扩容及低成本的组合。

 

逐步变得得心应手

如果你回答了所有我提出的关于大数据的问题,同时理解云能带来什么,那你就可以去冒险了。但是像其它组合一样,这个过程中有一些事你需要搞清楚,下面七点你需要考虑一下:

 

开源代码:

    开源软件是大数据的核心,特别是Hadoop和它很众多相关的项目。好消息是开源软件是免费的,但是不管是自我部署还是安装在云中,都需要对整个开源体系有个固有的理解。

 

数据存储及处理:

    大数据有很多要处理的阶段,包括筛选、预处理、处理、长期或短期的数据存储。每个阶段都可能用到云体系的不同方面。例如,你可以在私有内部云中筛选和预处理数据令其以结构化、自我部署;在私有云中处理结构化的数据; 在公有云中长期存储数据。

 

技术:

    大数据所用的到技术在企业内部无法获取,像开源软件(如:Hadoop),云集成,安全及分析工具,这些技术非常少但非常重要,是业务分析师和数据科学家在整个云里都会用到。

 

支持:

    对于大数据需要的软硬件及技术,一个组织需要决定谁能对整个可扩展体系统进行支持,如果你只是对内部私有云感兴趣,那么IT部门就能管理它。但是你关心的防火墙外的,你需要第三方的支持,例如软件供应商或是云服务提供商,通过他们来维护及管理它的架构体系。

 

性能:

    随着数据越来越多,性能的问题也会随之而来,如果数据跨国家跨洲存储,你需要考虑在上传数据及访问数据带来的网路情况,其结果会是糟透的.数据访问量会为系统架构带来瓶劲同时用户满意度降低。

 

集成:

    在大数据的早期阶段,不管是自我部署或是云,你只是在单独的环境处理数据。接下来,你想把数据和现有的应用、系统、过程进行集成。这种云与内外部系统的集成迫使公司重新检测现有的技术。

 

隐私:

通过大数据,企业机构很容易从现有或加工后的数据获取信息,例如社交, 开源及机器学习数据,并且与现有的业务和分析数据进行组合,这是之前从未发生过的。这对于客户将产生神奇而且变革性分析层面。但是与之而来也存在挑战,这 些分析层面很有可能会侵犯客户的隐私,需要非常留心。

最终观点:基于以上考虑建立一套固有的基础架构,你将会看到大数据和云之间是一种天作之合的组合。

© 著作权归作者所有

共有 人打赏支持
粉丝 30
博文 1645
码字总数 2338861
作品 0
邢台
私信 提问
云计算、大数据、编程语言学习指南下载,100+技术课程免费学!这份诚意满满的新年技术大礼包,你Get了吗?

近年来,新技术发展迅速。互联网行业持续高速增长,平均薪资水平持续提升,互联网技术学习已俨然成为学生、在职人员都感兴趣的“业余项目”。 阿里云大学作为阿里云泛云生态人才培养的平台,...

阿里云柳璃
02/21
0
0
荐书丨Kubernetes权威指南——企业级容器云实战

点击上方“程序人生”,选择“置顶公众号” 第一时间关注程序猿(媛)身边的故事 《Kubernetes权威指南》作者全新力作 直击容器云技术热点和难点 Kubernetes企业级容器云落地实战及指南 在开...

CSDN程序人生
2018/08/26
0
0
阿里云移动数据分析服务使用教程

移动数据分析 (Mobile Analytics) 是阿里云推出的一款移动App数据统计分析产品,为开发者提供一站式数据化运营服务:通用的多维度用户行为分析、数据开放并支持自定义分析、数据无缝对接其他...

mcy0425
2018/04/12
0
0
学好机器学习和大数据必备的6本好书!

机器学习和数据科学是复杂而相互关联的概念。要想让自己在技术紧跟趋势,你必须消耗大量的时间进行知识的更新。 日复一日的重复劳动不等于学习,这样仍有可能掉队。 所以一方面我们需要学习新...

金鑫工程师
03/13
0
0
人人都是数据分析师,让你的报表更精彩

马云说过:“我们现在正从IT时代走向DT时代。” 这个时代给我们带来很多的机会,数据分析的门槛会逐渐降低,数据分析就像开车,将成为未来必备的技能。 数据分析工作常常是枯燥的。微软Power...

异步社区
2018/08/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Java单例模式学习记录

在项目开发中经常能遇见的设计模式就是单例模式了,而实现的方式最常见的有两种:饿汉和饱汉(懒汉)。由于日常接触较多而研究的不够深入,导致面试的时候被询问到后有点没底,这里记录一下学习...

JerryLin123
昨天
4
0
VSCODE 无法调试

VSCODE 无法调试 可以运行 可能的原因: GCC 的参数忘了加 -g

shzwork
昨天
5
0
理解去中心化 稳定币 DAI

随着摩根大通推出JPM Coin 稳定币,可以预见稳定币将成为区块链落地的一大助推器。 坦白来讲,对于一个程序员的我来讲(不懂一点专业经济和金融),理解DAI的机制,真的有一点复杂。耐心看完...

Tiny熊
昨天
4
0
5.线程实现

用于线程实现的Python模块 Python线程有时称为轻量级进程,因为线程比进程占用的内存少得多。 线程允许一次执行多个任务。 在Python中,以下两个模块在一个程序中实现线程 - _thread 模块 th...

Eappo_Geng
昨天
7
0
ServiceLoader

创建一个接口文件在resources资源目录下创建META-INF/services文件夹在services文件夹中创建文件,以接口全名命名创建接口实现类 内容me.zzp.ar.d.PostgreSQLDialectme.zzp.ar.d.Hype...

Cobbage
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部