加载中
Hadoop安全性

HBase运行在Hadoop 0.20.x上,就可以使用其中的安全特性 -- 只要你用这两个版本0.20S 和CDH3B3,然后把hadoop.jar替换掉就可以了

2015/03/18 14:55
377
hadoop几个小技巧

Hadoop添加节点的方法 自己实际添加节点过程: 1. 先在slave上配置好环境,包括ssh,jdk,相关config,lib,bin等的拷贝; 2. 将新的datanode的host加到集群namenode及其他datanode中去; 3....

2015/01/06 10:47
159
Hadoop资源分享

Hadoop技术内幕:深入解析MapReduce架构设计与实现原理http://yunpan.cn/cwBBhLYTBnVRG (提取码:1810)

2015/06/01 15:59
156
Hadoop经典题目问答

单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份? a)3 份 b)2 份 c)1 份 d)不确定...

2015/01/21 15:04
350
Hadoop文件系统详解

Hadoop提供了许多文件系统的接口,它一般使用URI 方案来选取合适的文件系统实例交互。举例来说,我们在前一小节中研究的文件系统shell可以操作所有的Hadoop文件系统。

2016/07/22 14:46
379
当大数据遇见 Hadoop

一些组织将“人力资本”视为无形资产,这是其成功的关键因素,它们大多认为员工 是其最宝贵的财富。另一个通常不会在公司资产负债表上列出的关键资产就是公司所拥有 的信息。一些因素能够加强...

2016/07/21 17:03
88
Hadoop面试葵花宝典

为了让大家更有针对性的学习和复习,对hadoop面试题有个大概的了解,超人学院特将学员面试过程中遇到的面试题汇集成篇。在此,非常感谢大家对超人学院工作的鼎力支持与配合,本次共收集了将近...

2015/01/27 10:40
1.9K
深入浅出Hadoop数据流(1)

首先是一些术语的说明。MapReduce作业(job)是客户端执行的单位:它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作,其包括两种类型的任务:map任务和...

2015/03/30 14:47
242
Hadoop的kerberos的实践部署

Hadoop的kerberos的实践部署

2015/03/16 14:24
829
Hadoop大数据资源分享

http://bbs.superwu.cn/forum.php?mod=viewthread&tid=760&extra=page%3D1 资源分享redis中文入门手册 更多精彩内容请关注:http://bbs.superwu.cn 关注超人学院微信二维码: 关注超人学院...

Hadoop源代码分析(MapTask)

接下来我们来分析Task的两个子类,MapTask和ReduceTask。MapTask的相关类图如下: MapTask其实不是很复杂,复杂的是支持MapTask工作的一些辅助类。MapTask的成员变量少,只有split和splitCl...

2015/05/21 14:49
85
从Hadoop URL中读取数据

要从Hadoop文件系统中读取文件,一个最简单的方法是使用java.net.URL对象来打开一个数据流,从而从中读取数据。一般的格式如下: 1. InputStream in = null; 2. try { 3. in = new URL("hdfs...

Hadoop 中的两表join

作为数据分析中经常进行的join 操作,传统DBMS 数据库已经将各种算法优化到了极致,而对于hadoop 使用的mapreduce 所进行的join 操作,去年开始也是有各种不同的算法论文出现,讨论各种算法的...

2015/02/06 15:03
333
Hadoop 2.0 详细配置教程

修改主机名,所有 节点均一样配置 1 , 连接到主节点 192.168.1.201 ,修改 network , 执行 vim /etc/sysconfig/network ,修改 HOSTNAME=hadoop1 2 ,修改 hosts 文件, 执行 cd /etc 命令...

2016/08/02 15:43
192
hadoop大数据高薪课程抢先看

大数据高薪课程抢先看,超人学院院长吴超老师主讲,Hadoop高薪课程精讲。小伙伴们,你还等什么,动动你的鼠标,高薪课程任你看。 网盘链接地址:http://pan.baidu.com/s/1nt3gQxj...

Hadoop源代码分析(IFile)

Mapper的输出,在发送到Reducer前是存放在本地文件系统的,IFile提供了对Mapper输出的管理。我们已经知道,Mapper的输出是<Key,Value>对,IFile以记录<key-len, value-len, key,value>的形式...

2015/05/27 17:48
190
HADOOP测试常见问题和测试方法

随着分布式计算技术的推广,越来越多的大数据计算任务迁移到hadoop平台上进行,模型类的hadoop应用也越来越多。经过这一段时间在hadoop上的测试项目,在此简单分享下hadoop上项目测试的经验。...

2015/01/19 11:45
119
Hadoop文件系统详解----(一)

Hadoop有一个抽象的文件系统概念,HDFS只是其中的一个实现。Java抽象类 org.apache.hadoop.fs.FileSystem展示了Hadoop的一个文件系统,而且有几个具体实现,如表 3-1所示。 文件系统 URI 方案...

2015/04/03 10:27
272
从Hadoop URL中读取数据

要从Hadoop文件系统中读取文件,一个最简单的方法是使用java.net.URL对象来打开一个数据流,从而从中读取数据。一般的格式如下: 1. InputStream in = null; 2. try { 3. in = new URL("hdfs...

2015/04/07 14:44
190
Hadoop源代码分析(包mapreduce.lib.input)

接下来我们按照MapReduce过程中数据流动的顺序,来分解org.apache.hadoop.mapreduce.lib.*的相关内容,并介绍对应的基类的功能。首先是input部分,它实现了MapReduce的数据输入部分。类图如下...

2015/05/22 11:07
96

没有更多内容

加载失败,请刷新页面

返回顶部
顶部