ubuntu14.04下安装Hadoop

原创
2016/06/25 19:52
阅读数 3K

一、环境准备

1、ubuntu 14.04 

2、hadoop 2.7.2

文件较大(202M),选择一种下载方式下载。下载地址:

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

3、jdk 1.7以上

安装方法(若已安装,请忽略):

http://jingyan.baidu.com/article/647f0115bb26817f2048a871.html

二、安装Hadoop

1、安装命令

sudo addgroup hadoop
sudo adduser -ingroup hadoop hadoop
        
tar xzf hadoop-2.4.0.tar.gz        
mv hadoop-2.7.2 /usr/local/hadoop 
chmod 774 /usr/local/hadoop

编辑:/etc/sudoers,为hadoop用户添加root权限。

切换hadoop账户登陆系统。

2、配置hadoop

1)jdk安装路径获取

首先需要获取jdk安装路径,通过以下命令获取:

update-alternatives --config java

2)配置.bashrc

编辑.bashrc,并添加如下配置:

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

最后使配置立即生效:source ~/.bashrc

3)编辑hadoop-env.sh

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

4)修改hadoop-env.sh中jdk_home的配置

5)保存并退出

三、测试Hadoop

下面通过执行hadoop自带实例WordCount验证是否安装成功。

1、/usr/local/hadoop路径下创建input文件夹 

2、拷贝README.txt到input 

3、执行WordCount命令

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount input output

以上步骤命令:

4、执行过程

5、执行结果

说明我们的hadoop 2.7.2已经安装成功了。

 

展开阅读全文
加载中
点击加入讨论🔥(8) 发布并加入讨论🔥
8 评论
88 收藏
2
分享
返回顶部
顶部