文档章节

你想知道的关于Hadoop数据资源池的一切

 数据分析师
发布于 2015/05/30 20:30
字数 1179
阅读 4
收藏 0

随着Hadoop数据资源池的概念进入主流IT,越来越多的企业开始试水Hadoop。但很多只是将一部分数据池化,还没有开发出成熟的Hadoop环境。

数据资源池使用基于开源Hadoop框架和商业硬件,以池化资源的形式处理、存储和管理大数据,尤其是支持分析应用。支持者认为数据池架构提供了一个更便宜的替代传统数据仓库的选项,能够处理结构化、半结构化以及非结构化数据。不过,数据资源池的概念还相对较新,带来利益的同时也隐藏着陷阱。关注BI和大数据的咨询公司Eckerson 集团首席咨询师Wayne Eckerson表示:“在过去七年里,Hadoop取得了长足的进步,但它仍有很长的路要求。”

你想知道的关于Hadoop数据资源池的一切

在接受TechTarget采访时,Eckerson讲述了他个人对于数据资源池的理解,以及可能影响该进程的阻力。对于公司是否适合采用Hadoop资源池的问题,他也给出了建议。

TechTarget:从您接触到的公司来看,Hadoop资源池到底有多流行?

Wayne Eckerson:很 多公司已经或打算使用Hadoop.只有当你把所有数据都放入Hadoop集群的时候,数据资源池才是真实的。公司当然对它有兴趣,尤其是目前还没有数据 仓库的公司,它们会选择从Hadoop开始,而不是关系型数据库,当然前提是它们有掌握Hadoop的人才。不过我认为,供应商推Hadoop的力度大于 用户对Hadoop的需求。泡沫的成分还是有的。

TechTarget:公司为什么要考虑数据池,数据池能够给公司带来的最大好处是什么?

Eckerson:理论上这种方法大有裨益。你把数据放入资源池,不需要再移动它。你需要做的只是把数据提取到支持业务的正确的处理系统中。数据资源池的好处是你把数据存储在 数据产生的地方,然后把处理流程加在数据上,这样能够让公司更少地移动数据。但是问题是,在过去二十年里,我们积累了如何从数据中提取答案的经验,但这些 经验并不完全适用于数据资源池。公司要重新确认流程,保证能得到正确答案。不过因为成本低,所以人们还是很愿意去尝试它。

企业在部署Hadoop时,对数据资源池的概念是否会有误解?

Eckerson:对 于任何新技术,人们都不免会希望它能“包治百病”。但事实并非如此,Hadoop需要专业的技术人才,而且有很多功能还不成熟,比如安全、管理、容灾和恢 复、交互查询等。现在,这些功能正逐渐被添加到Hadoop平台上,它现在正在向企业级方向发展。不过它仍然没有传统数据仓库环境那么成熟。你不能只给人 们一个生数据的入口,就期望他们能完成任何事。你需要构建不同的数据视图,不同的结构,不同部门的人员看到不同的数据。这和数据仓库的道理是一样的,只是 用到的技术不同。我认为最大的误解是认为Hadoop是适用于业务用户的环境,其实不是,Hadoop还是需要掌握固定技能的专家的。

数据分析资源池适用于所有企业吗,还是只适用于部分企业?

Eckerson:任何公司,只要有时间和资源,都可以尝试数据资源池。公司要以开放的心态迎接新技术,需要花费时间进行试验,了解数据资源池能够给自己带来什么。早期的Hadoop使用者已经在大范围部署Hadoop了。但也有公司忙于应对已有的数据仓库,无暇考虑Hadoop。这是企业文化的问题,有些对新技术比较积极,有些则不然。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

---------------------------------------------------------------------------------------------------------------------------------

了解更多商业智能行业资讯,BI解决方案以及商业智能软件下载请访问FineBI商业智能官网www.finebi.com

或扫一扫,关注“FineBI专业商业智能解决方案”(微信号:fine_bi

 让数据分析成为你的指南 - IBFINER - 商业智能

© 著作权归作者所有

共有 人打赏支持
粉丝 30
博文 1645
码字总数 2338861
作品 0
邢台
私信 提问
Hadoop到底是什么? 到底能做什么?

调研Hadoop颇久,就是想知道hadoop是什么?hadoop能做什么?怎么用hadoop?最主要是这三块,至于投入和风险也会随之出来(浓缩了我几十页的调研方案啊!!!) hadoop是什么? Hadoop是一个开...

天呀鲁哇
2015/03/13
0
3
Hadoop Job Scheduler作业调度器

Hadoop Job Scheduler Hadoop的作业调度器,可以以插件的方式加载,常见的作业调度器有三种: 默认调度算法FIFO 计算能力调度算法Capacity Scheduler(Yahoo!开发) 公平份额调度算法Fair Sche...

vieky
2013/03/04
0
0
关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”

之前有童鞋问到了这样一个问题:为什么我在 reduce 阶段遍历了一次 Iterable 之后,再次遍历的时候,数据都没了呢?可能有童鞋想当然的回答:Iterable 只能单向遍历一次,就这样简单的原因。...

大数据之路
2013/05/18
0
3
Hadoop集群部署模型纵览3

在前两篇文章中,我们介绍了Hadoop集群部署的3个方式,即《存储/计算绑定和单一计算的Hadoop集群》,《存储/计算分离的Hadoop集群部署》。本文我们着重讲解最后一种方式,即构建自定义的Had...

vBigData
2013/10/22
0
0
大数据战略需要数据中心基础架构作出的改变有哪些?

为大数据选择新的硬件、存储和其它数据中心基础设备,这是IT专业人员们所面对的新应战。推广大数据战略的压力往往来自高层,因为管理者信任,能有用运用数据的企业将比落后者具有更大优势。大...

陈刚生
07/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

EOS docker开发环境

使用eos docker镜像是部署本地EOS开发环境的最轻松愉快的方法。使用官方提供的eos docker镜像,你可以快速建立一个eos开发环境,可以迅速启动开发节点和钱包服务器、创建账户、编写智能合约....

汇智网教程
今天
3
0
《唐史原来超有趣》的读后感优秀范文3700字

《唐史原来超有趣》的读后感优秀范文3700字: 作者:花若离。我今天分享的内容《唐史原来超有趣》这本书的读后感,我将这本书看了一遍之后就束之高阁了,不过里面的内容一直在在脑海中回放,...

原创小博客
今天
6
0
IC-CAD Methodology知识图谱

CAD (Computer Aided Design),计算机辅助设计,指利用计算机及其图形设备帮助设计人员进行设计工作,这个定义同样可以用来近似描述IC公司CAD工程师这个岗位的工作。 早期IC公司的CAD岗位最初...

李艳青1987
今天
7
0
CompletableFuture get方法一直阻塞或抛出TimeoutException

问题描述 最近刚刚上线的服务突然抛出大量的TimeoutException,查询后发现是使用了CompletableFuture,并且在执行future.get(5, TimeUnit.SECONDS);时抛出了TimeoutException异常,导致接口响...

xiaolyuh
今天
5
0
dubbo 搭建与使用

官网:http://dubbo.apache.org/en-us/ 一,安装监控中心(可以不安装) admin管理控制台,monitor监控中心 下载 bubbo ops 这个是新版的,需要node.js环境,我没有就用老版的了...

小兵胖胖
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部