文档章节

Hadoop2.2.0稳定版安装__伪分布式模式__Hadoop2.0入门学习一

风雨中_帅军冠
 风雨中_帅军冠
发布于 2013/12/31 15:11
字数 1171
阅读 6.5K
收藏 12

一:环境准备

1:准备虚拟机一台,我安装的是redhat6.4的32位操作系统。

2 :修改hostname。使用命令hostname localhost(如需重启后生效,可以 修改配置文件/etc/sysconfig/network中的HOSTNAME=localhost即可)。另修改/etc/hosts ,用#注释掉默认的文本,添加127.0.0.1 localhost即可。

3:jdk安装,虚拟机是32位的,可下载jdk-6u43-linux-i586.bin文件,上传到/home/software目录下,用命令chmod 755 jdk-6u43-linux-i586.bin授可执行权限。然后./jdk-6u43-linux-i586.bin执行即可快速安装,默认路径在/home/software/jdk1.6.0_43目录中。

 4:配置JAVA_HOME。在/etc/profile文件中添加

      export JAVA_HOME=/home/software/jdk1.6.0_43

      export PATH = $PATH:$JAVA_HOME/bin

      保存后用命令source /etc/profile使环境配置修改生效。

用命令java、javac、java -version测试jdk是否成功。

二 :免密码ssh设置

1 ssh-keygen -t rsa

一直按<Enter> 由于不设置密码,所以就一直回车就行。 

 如果是root用户,默认生成文件在/root/.ssh中,进入目录中,使用命令cp  id_rsa_put  authorized_keys

生成authorized_keys。

测试:

1 ssh localhost

如果不需要输入密码即设置成功,恭喜你,可以进入下一步了。 

三、下载hadoop2.2.0包解压安装。

   大家可以自行到www.apache.org官网下载安装,也可以到下面http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/这个地址下载hadoop-2.2.0.tar.gz这个包,下载好后放入/home根目录下,用命令tar -zxvf hadoop-2.2.0.tar.gz解压即可。

   在/home目录下会生成hadoop-2.2.0目录,为了便于升级和管理,增加一个链接目录,用命令ln -s hadoop2.2.0 hadoop既可。

   最后配置HADOOP_HOME的环境变量

   同JAVA_HOME类似,在/etc/profile文件中添加

   export HADOOP_HOME=/home/hadoop即可。

   至此hadoop环境及环境变量已经安装完毕,够简单吧,够帅吧,离成功越来越近。

   let's go!  

四:修改配置文件

修改的文件都在/home/hadoop/etc/hadoop下:
core-site.xmlhdfs-site.xmlyarn-site.xml 、mapred-site.xml. 四个文件
文件说明(略)
配置文件的添加和修改都在<configuration></configuration> 中

1、core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>

  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadoop_tmp</value>
  </property>

添加hdfs的指定URL路径,由于是伪分布模式,所以配置的是本机IP ,可为真实ip、localhost。

2、hdfs-site.xml

1 <property>
2   <name>dfs.namenode.name.dir</name>
3   <value>/home/namenode</value>
4 </property>
5
6 <property>
7   <name>dfs.datanode.data.dir</name>
8   <value>/home/datanode</value>
9 </property>

主要是对namenode 和 datanode 存储路径的设置。为了便于管理,最好配置一下。

3、mapred-site.xml

1 <property>
2 <name>mapreduce.framework.name</name>
3 <value>yarn</value>
4 </property>

hadoop2.0有了yarn所以原来的mapred配置都转向yarn-site.xml文件中了,这里也就指定yarn。

4、yarn-site.xml 

为了简单,快速做测试,使用默认的即可。


五 :hadoop启动

启动的文件都是 sbin下,bin下的都是命令。
使用命令cd $HADOOP_HOME切换到该安装目录下
首先格式化 namenode

1 bin/hdfs namenode -format

确定不报错,且出现

/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at startos/localhost
************************************************************/

启动namenode

1 sbin/hadoop-daemon.sh start namenode
2 sbin/hadoop-daemon.sh start datanode

运行测试

1 jps

出现: 
12935 NameNode
5309 Jps
13012 DataNode

证明启动成功,如果没有出现DataNode或者NameNode,证明启动没有成功,可以查看hadoop安装目录下的logs下的日志记录
可以使用sbin/hadoop-daemon.sh stop datanode(或namenode)来关闭。

启动Manage管理

1 sbin/yarn-daemon.sh start resourcemanager
2 sbin/yarn-daemon.sh start nodemanager

运行测试

1 jps

出现: 
13338 NodeManager
13111 ResourceManager
12935 NameNode
5309 Jps
13012 DataNode

证明启动成功 同时也可以使用yarn-daemon.sh stop resourcemanager(nodemanager)来关闭。

如果没有单独配置yarn-site.xml中的yarn.resourcemanager.webapp.address,默认的端口8088 访问
http://127.0.0.1:8088/  可以访问hadoop管理页面

如果没有单独配置 hdfs-site.xml中的dfs.namenode.http-address,默认端口50070
http://127.0.0.1:50070 可以访问namenode节点信息。

 

六:测试运行

操作命令与hadoop1.0非常类似,几乎相同。

首先进入HADOOP_HOME,cd $HADOOP_HOME

1: 在dfs上创建一个目录input

   bin/hadoop dfs -mkdir /input

2:上传本地文件到input中

   bin/hadoop dfs -put README.txt  /input


 

3:查看上传的文件

   bin/hadoop dfs -ls /input 
 

同时也可以通过http://127.0.0.1:50070 查看节点下的文件。

OK,hadoop2.2.0稳定版__伪分布式安装完美收工。开心开启hadoop2.0之旅。

如果你安装运行成功了,认为给力的给个赞谢谢。有问题可以在回复中密我。

© 著作权归作者所有

风雨中_帅军冠
粉丝 2
博文 1
码字总数 1171
作品 0
南京
高级程序员
私信 提问
加载中

评论(6)

mdaimon
mdaimon

引用来自“MangoKingX”的评论

好东西,测试成功,在上传文件命令中,dfs命令好像提示过时了
是hadoop命令过时了。用hdfs替换hadoop即可
MangoKingX
MangoKingX
好东西,测试成功,在上传文件命令中,dfs命令好像提示过时了
ENZO_zhao
ENZO_zhao
32个赞
唯舞断
唯舞断
学习了
z
zhxg245653673
在运行程序时,yarn-site.xml 中是要配置yarn.nodemanager.aux-services的,因为在2.2版本中没有默认值,不配值会报“org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:
mapreduce_shuffle does not exist”
f
fj0800308125
这里要是说明下,hdfs-site.xml中少了一个property,应该加上,否则Eclipse提交Hadoop的时候会出错
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
Hadoop新手学习指导

对于我们新手入门学习hadoop大数据存储的朋友来说,首先了解一下云计算和云计算技术是有必要的。下面先是介绍云计算和云计算技术的: 云计算,是一种基于互联网的计算方式,通过这种方式,共...

一枚Sir
2014/08/07
132
0
hadoop2.2.0源代码编译

一、环境说明 虚拟软件:VMware Workstation 10 虚拟机配置: RHEL Server release 6.5 (Santiago) 2.6.32-431.el6.x86_64 cpu:4核心,内存:4G,硬盘:50G 二、前提条件: 1:将rhel6.5的iso文件作为...

cloud-coder
2014/01/11
5K
6
Apache Hadoop 入门教程第二章

Apache Hadoop 单节点上的安装配置 下面将演示快速完成在单节点上的 Hadoop 安装与配置,以便你对 Hadoop HDFS 和 MapReduce 框架有所体会。 先决条件 支持平台: GNU/Linux:已经证实了 Ha...

哈斗篷
2018/05/10
0
0
hadoop2.0集群搭建详解

hadoop2.2.0集群搭建 PS:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的, 因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装 hadoop-2.2.0就需要重新在64操作系统上重...

迪allen
2014/03/31
1W
11
好程序员大数据笔记之:Hadoop集群搭建

在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天集中总结以下笔记,希望对各位同学...

好程序员IT
2019/05/21
17
0

没有更多内容

加载失败,请刷新页面

加载更多

MBTI助你成功,让你更了解你自己

MBTI助你成功,让你更了解你自己 生活总是一个七日接着又一个七日,相信看过第七日的小伙伴,很熟悉这段开场白,人生是一个测试接着又一个测试,上学的时候测试,是为了证明你的智力,可谓从...

蛤蟆丸子
今天
55
0
Android实现App版本自动更新

现在很多的App中都会有一个检查版本的功能。例如斗鱼TV App的设置界面下: 当我们点击检查更新的时候,就会向服务器发起版本检测的请求。一般的处理方式是:服务器返回的App版本与当前手机安...

shzwork
昨天
72
0
npm 发布webpack插件 webpack-html-cdn-plugin

初始化一个项目 npm init 切换到npm源 淘宝 npm config set registry https://registry.npm.taobao.org npm npm config set registry http://registry.npmjs.org 登录 npm login 登录状态......

阿豪boy
昨天
87
0
java基础(16)递归

一.说明 递归:方法内调用自己 public static void run1(){ //递归 run1(); } 二.入门: 三.执行流程: 四.无限循环:经常用 无限递归不要轻易使用,无限递归的终点是:栈内存溢出错误 五.递...

煌sir
昨天
63
0
REST接口设计规范总结

URI格式规范 URI中尽量使用连字符”-“代替下划线”_”的使用 URI中统一使用小写字母 URI中不要包含文件(脚本)的扩展名 URI命名规范 文档(Document)类型的资源用名词(短语)单数命名 集合(Co...

Treize
昨天
69
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部