1 概述 默认情况下hadoop中hdfs和mapreduce运行在一种不安全的环境中，引用《hadoop权威指南》中的一段话：“从安全角度分析，Hadoop缺乏一个安全打的认证机制，以确保试图在集群上执行操作的...

在做hadoop和Kerberos结合的时候，遇到这么一个问题“java.io.IOException: Login failure for hadoop/admin@psy.com from keytab /hadoop-data/etc/hadoop/hadoop.keytab”详细的异常信息最...

废话不讲，直切正题。 搭建环境:Centos x 6.4 64bit 1、安装JDK 我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-d...

1、 和其他模块之间的交互接口分析 1)作为client，NodeStatusUpdater通过ResourceTracker协议和RM进行交互。 该API有两个方法 向RM注册NodeManager，参数为httpPort、nodeId、totalResource...

最近研究了下新一代的mapreduce框架YARN，这里先对YARN框架的引入和架构做个介绍，后续针对每一块做深入分析 从Hadoop0.23版本开始对于mapduce计算框架，就完全是新的架构了(YARN)。老的版本...

阅读了下YARN的源码，架构中设计模式除了服务生命周期管理模式外，还包括事件驱动和状态机模式。生命周期管理模式在容器设计时候比较常见，包括资源模型的加载，卸载等等，比如tomcat、jboss...

现象：用伪分布方式启动hadoop之后，eclipse上面的java程序不能访问hdfs文件系统，报：Connection Refused 分析： hadoop服务器和client代码不再同一台机上，在client机上telnet 192.168.22...

通常我的做法在eclipse中编写mapper和reduce类，以及driver类，然后打出jar放在hadoop服务器上运行 用下面的命令运行任务 hadoop aboutMapReduce.MaxTemperature /opt/ncdc/micro/ output 但...

HDFS分析(四) 在HDFS中可能同时有多个客户端在同一时刻写文件，如果不进行控制的话，有可能多个客户端会并发的写一个文件，所以需要进行控制，一般的想法是用一个互斥锁，在某一时刻只有一个...

hadoop版本：1.0.3 问题描述： 在研究DataNode启动代码的时候遇到这么一个问题，通过Hadoop工具类ReflectionUtils反射生成NullInstance实例时，NullInstance父类Configured的成员变量conf未正...