文档章节

你想知道的关于Hadoop数据资源池的一切

 数据分析师
发布于 2015/05/30 20:30
字数 1179
阅读 2
收藏 0

随着Hadoop数据资源池的概念进入主流IT,越来越多的企业开始试水Hadoop。但很多只是将一部分数据池化,还没有开发出成熟的Hadoop环境。

数据资源池使用基于开源Hadoop框架和商业硬件,以池化资源的形式处理、存储和管理大数据,尤其是支持分析应用。支持者认为数据池架构提供了一个更便宜的替代传统数据仓库的选项,能够处理结构化、半结构化以及非结构化数据。不过,数据资源池的概念还相对较新,带来利益的同时也隐藏着陷阱。关注BI和大数据的咨询公司Eckerson 集团首席咨询师Wayne Eckerson表示:“在过去七年里,Hadoop取得了长足的进步,但它仍有很长的路要求。”

你想知道的关于Hadoop数据资源池的一切

在接受TechTarget采访时,Eckerson讲述了他个人对于数据资源池的理解,以及可能影响该进程的阻力。对于公司是否适合采用Hadoop资源池的问题,他也给出了建议。

TechTarget:从您接触到的公司来看,Hadoop资源池到底有多流行?

Wayne Eckerson:很 多公司已经或打算使用Hadoop.只有当你把所有数据都放入Hadoop集群的时候,数据资源池才是真实的。公司当然对它有兴趣,尤其是目前还没有数据 仓库的公司,它们会选择从Hadoop开始,而不是关系型数据库,当然前提是它们有掌握Hadoop的人才。不过我认为,供应商推Hadoop的力度大于 用户对Hadoop的需求。泡沫的成分还是有的。

TechTarget:公司为什么要考虑数据池,数据池能够给公司带来的最大好处是什么?

Eckerson:理论上这种方法大有裨益。你把数据放入资源池,不需要再移动它。你需要做的只是把数据提取到支持业务的正确的处理系统中。数据资源池的好处是你把数据存储在 数据产生的地方,然后把处理流程加在数据上,这样能够让公司更少地移动数据。但是问题是,在过去二十年里,我们积累了如何从数据中提取答案的经验,但这些 经验并不完全适用于数据资源池。公司要重新确认流程,保证能得到正确答案。不过因为成本低,所以人们还是很愿意去尝试它。

企业在部署Hadoop时,对数据资源池的概念是否会有误解?

Eckerson:对 于任何新技术,人们都不免会希望它能“包治百病”。但事实并非如此,Hadoop需要专业的技术人才,而且有很多功能还不成熟,比如安全、管理、容灾和恢 复、交互查询等。现在,这些功能正逐渐被添加到Hadoop平台上,它现在正在向企业级方向发展。不过它仍然没有传统数据仓库环境那么成熟。你不能只给人 们一个生数据的入口,就期望他们能完成任何事。你需要构建不同的数据视图,不同的结构,不同部门的人员看到不同的数据。这和数据仓库的道理是一样的,只是 用到的技术不同。我认为最大的误解是认为Hadoop是适用于业务用户的环境,其实不是,Hadoop还是需要掌握固定技能的专家的。

数据分析资源池适用于所有企业吗,还是只适用于部分企业?

Eckerson:任何公司,只要有时间和资源,都可以尝试数据资源池。公司要以开放的心态迎接新技术,需要花费时间进行试验,了解数据资源池能够给自己带来什么。早期的Hadoop使用者已经在大范围部署Hadoop了。但也有公司忙于应对已有的数据仓库,无暇考虑Hadoop。这是企业文化的问题,有些对新技术比较积极,有些则不然。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

---------------------------------------------------------------------------------------------------------------------------------

了解更多商业智能行业资讯,BI解决方案以及商业智能软件下载请访问FineBI商业智能官网www.finebi.com

或扫一扫,关注“FineBI专业商业智能解决方案”(微信号:fine_bi

 让数据分析成为你的指南 - IBFINER - 商业智能

© 著作权归作者所有

共有 人打赏支持
粉丝 29
博文 1645
码字总数 2338861
作品 0
邢台
Hadoop到底是什么? 到底能做什么?

调研Hadoop颇久,就是想知道hadoop是什么?hadoop能做什么?怎么用hadoop?最主要是这三块,至于投入和风险也会随之出来(浓缩了我几十页的调研方案啊!!!) hadoop是什么? Hadoop是一个开...

天呀鲁哇
2015/03/13
0
3
Hadoop Job Scheduler作业调度器

Hadoop Job Scheduler Hadoop的作业调度器,可以以插件的方式加载,常见的作业调度器有三种: 默认调度算法FIFO 计算能力调度算法Capacity Scheduler(Yahoo!开发) 公平份额调度算法Fair Sche...

vieky
2013/03/04
0
0
关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”

之前有童鞋问到了这样一个问题:为什么我在 reduce 阶段遍历了一次 Iterable 之后,再次遍历的时候,数据都没了呢?可能有童鞋想当然的回答:Iterable 只能单向遍历一次,就这样简单的原因。...

大数据之路
2013/05/18
0
3
Hadoop集群部署模型纵览3

在前两篇文章中,我们介绍了Hadoop集群部署的3个方式,即《存储/计算绑定和单一计算的Hadoop集群》,《存储/计算分离的Hadoop集群部署》。本文我们着重讲解最后一种方式,即构建自定义的Had...

vBigData
2013/10/22
0
0
[Spark][翻译]Spark内存分析模型(<=1.5版本)

spark内存分析模型(<=1.5版本)-无原文版本 背景 分析spark的内存模型,文章来源于https://0x0fff.com/spark-architecture/这里为了阅读流畅,把原文英文去除了,大家有疑问可以对照查看。 ...

zemel
2016/08/01
103
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

c语言之内存分配笔记

先看一个数组: short array[5] = {1,2} // 这儿定义的一个int类型的数组,数组第1和第2个元素值是1和2.其余后面默认会给值为0; 或者 short array[] = {1,2};//这儿数组第1和第2个元素,数组...

DannyCoder
今天
2
0
Shell | linux安装包不用选择Y/N的方法

apt-get install -y packageOR echo "y" | sudo apt-get install package

云迹
今天
2
0
Hadoop的大数据生态圈

基于Hadoop的大数据的产品圈 大数据产品的一句话概括 Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架...

zimingforever
今天
5
0
八大包装类型的equals方法

先看其中一个源码 结论:八大包装类型的equals方法都是先判断类型是否相同,不相同则是false,相同则判断值是否相等 注意:包装类型不能直接用==来等值比较,否则编译报错,但是数值的基本类型...

xuklc
今天
2
0
NoSQL , Memcached介绍

什么是NoSQL 非关系型数据库就是NoSQL,关系型数据库代表MySQL 对于关系型数据库来说,是需要把数据存储到库、表、行、字段里,查询的时候根据条件一行一行地去匹配,当量非常大的时候就很耗...

TaoXu
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部