加载中
hadoop2.2.0 centos 编译安装详解

废话不讲,直切正题。 搭建环境:Centos x 6.4 64bit 1、安装JDK 我这里用的是64位机,要下载对应的64位的JDK,下载地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-d...

2014/09/26 00:33
39
为hdfs配置kerberos

1 概述 默认情况下hadoop中hdfs和mapreduce运行在一种不安全的环境中,引用《hadoop权威指南》中的一段话:“从安全角度分析,Hadoop缺乏一个安全打的认证机制,以确保试图在集群上执行操作的...

2014/10/26 22:57
1.1K
解决问题Login failure for nn/admin@psy.com from keytab

在做hadoop和Kerberos结合的时候,遇到这么一个问题“java.io.IOException: Login failure for hadoop/admin@psy.com from keytab /hadoop-data/etc/hadoop/hadoop.keytab”详细的异常信息最...

2014/10/24 09:18
4.3K
eclipse中java程序不能访问hdfs文件系统,报:Connection Refused

现象:用伪分布方式启动hadoop之后,eclipse上面的java程序不能访问hdfs文件系统,报:Connection Refused 分析: hadoop服务器和client代码不再同一台机上,在client机上telnet 192.168.22...

2014/08/15 13:15
220
关于hadoop运行mapreduce任务的说明

通常我的做法在eclipse中编写mapper和reduce类,以及driver类,然后打出jar放在hadoop服务器上运行 用下面的命令运行任务 hadoop aboutMapReduce.MaxTemperature /opt/ncdc/micro/ output 但...

2014/08/15 13:12
39
hdfs中ReflectionUtils在实例化ObjectWritable内部类NullIn...

hadoop版本:1.0.3 问题描述: 在研究DataNode启动代码的时候遇到这么一个问题,通过Hadoop工具类ReflectionUtils反射生成NullInstance实例时,NullInstance父类Configured的成员变量conf未正...

运行mrunit报错问题解决

在看hadoop权威指南的时候,运行mrunit的例子(MaxTemperatureMapperTest)的时候,报出一个异常,网上查了资料后,是mrunit的版本问题,可以结合hadoop的版本,找到对应的mrunit的版本。 另...

2016/03/12 18:20
225
Hadoop中DataNode的启动过程详解

本文的目的在于详细记录2.4.1版本下hadoop的DataNode的启动过程,作此记录,也为以后回过头看DataNode留下方便。本文的思路是结合DataNode的代码,来分析他的启动过程。 说明,限于篇幅,对文...

kinit无密码登录配置

通常在远程客户端上登录kerbros都需要密码,在学习hadoop的时候提到了ktutil这个工具,这里将使用方法贴出来。 运行命令 ktutil add_entry -password -p hadoop/admin@psy.com -k 3 -e aes25...

hadoop源码中loadFSImage中的一个疑似bug

学习hadoop源码的过程中,遇到这么一个问题,给大家分享如下。为什么说是“疑似”,相信大家在使用hadoop的时候,大部分情况不会遇到这个问题,但是在我的实验环境中确实存在这个问题。 问题...

2013/01/07 17:09
336
hadoop rpc客户端初始化和调用过程详解

本文主要记录hadoop rpc的客户端部分的初始化和调用的过程,下面的介绍中主要通过DFSClient来说明,为什么用DFSClient呢?DFSClient作为namenode的客户端,通过rpc来操作hdfs。限于篇幅,本文...

hadoop rpc服务端初始化和调用过程详解

本文主要描述了hadoop rpc服务端的初始化和调用过程,相比客户端的初始化,rpc服务端感觉会简单点,但是调用过程却比客户端复杂一些。本文还是以namenode为例,namenode会在执行main方法的时...

HDFS Federation设计动机与基本原理

HDFS Federation是Hadoop最新发布版本Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了H...

基于kerberos实现jaas登录

这段时间在做hadoop和kerberos的整合,顺便看了jaas和kerberos,这里给出使用kerberos登录模块的jaas例子。 前提条件 1.kerberos已经安装,principal已经创建,这里用的principal是已经建好的...

The implementation for endpoints in HBase 0.96.x

The implementation for endpoints changed significantly in HBase 0.96.x due to the introduction of protocol buffers (protobufs) (HBASE-5488). If you created endpoints before 0.96...

新一代mapreduce体系架构介绍-YARN

最近研究了下新一代的mapreduce框架YARN,这里先对YARN框架的引入和架构做个介绍,后续针对每一块做深入分析 从Hadoop0.23版本开始对于mapduce计算框架,就完全是新的架构了(YARN)。老的版本...

2014/08/20 12:31
70
HBase Shell Commands

HBase shell commands are mainly categorized into 6 parts: General HBase Shell Commands status Show cluster status. Can be ‘summary’, ‘simple’, or ‘detailed’. The default i...

2015/01/03 16:54
94
五大主流数据库模型

导读:无论是关系型数据库还是非关系型数据库,都是某种数据模型的实现。本文将为大家简要介绍5种常见的数据模型,让我们来追本溯源,窥探现在流行的数据库解决方案背后的神秘世界。 什么是数...

大数据存取的选择:行存储还是列存储?

上个月参加了一个云存储的技术讨论会。这一个月里,陆续收到几位同学讨论大数据保存和处理的邮件。今天是周末,索性把这个月的交流内容整理写下来,供各位参考。   目前大数据存储有两种方...

2014/11/26 09:06
31
tomcat学习之JMX应用

1 JMX概述 1.1 JMX是什么 Java Management Extensions(JMX)是java语言的扩展,是一种规范,提供对受管资源的管理功能。这种管理功能可以具体为查看对象的属性,或者调用对象的方法。举个具...

2014/07/17 09:11
346

没有更多内容

加载失败,请刷新页面

返回顶部
顶部