Ubuntu Kylin 安装和部署Hadoop(伪分布式)

原创
2017/02/07 15:55
阅读数 695

####一、配置用户信息 1.添加用户到sudo组(用户名以实际情况为准,这里使用Kevin举例):

sudo adduser Kevin sudo

2.添加到hadoop,并将用户添加到hadoop:

su
addgroup hadoop
usermod -a -G hadoop Kevin

####二、配置ssh免密码登录 1.安装ssh server:

sudo apt-get install openssh-server

2.ssh免密配置:

cd ~/.ssh/          #若没有该目录,请先执行一次ssh localhost               
ssh-keygen -t rsa              
cat id_rsa.pub >> authorized_keys  

3.检测是否能直接登录:

ssh localhost

####三、配置JDK 参考文章《Ubuntu Kylin 安装和配置JDK》

####四、安装和配置Hadoop环境变量 1.下载Hadoop2.7.3:

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/

2.解压Hadoop压缩文件:

sudo tar -zxvf  /home/Kevin/下载/hadoop-2.7.3.tar.gz -C /usr/local

3.重命名Hadoop文件夹:

cd /usr/local/
sudo mv ./hadoop-2.7.3/ ./hadoop

4.修改文件权限:

sudo chown -R Kevin ./hadoop 

5.配置Hadoop环境变量:

执行以下命令:

sudo nano /etc/profile

打开界面后,在之前配置的JAVA_HOME后面输入:

export HADOOP_INSTALL=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL

export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

使配置立即生效:

source /etc/profile

6.检测Hadoop安装是否成功:

hdfs

####五、配置Hadoop伪分布式 1.切换至配置文件目录:

cd /usr/local/hadoop/etc/hadoop

2.配置 core-site.xml:

执行命令:

nano core-site.xml

将文件中的<configuration></configuration>替换为:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3.配置 hdfs-site.xml:

执行命令:

nano hdfs-site.xml

将文件中的<configuration></configuration>替换为:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

4.配置yarn-site.xml:

执行命令:

nano yarn-site.xml

将文件中的<configuration></configuration>替换为:

<configuration>
  <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>
  <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

5.配置mapred-site.xml:

从模板文件复制一个xml,执行命令:

mv mapred-site.xml.template mapred-site.xml

再执行命令:

nano mapred-site.xml

将文件中的<configuration></configuration>替换为:

<configuration>
  <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
</configuration>

6.配置hadoop-env.sh:

执行命令:

nano hadoop-env.sh

配置文件中的JAVA_HOME(JDK路径以实际情况为准):

export JAVA_HOME=/usr/lib/jvm/java-7-oracle

7.配置完成后,执行格式化:

hdfs namenode -format

出现Exitting with status 0 表示成功,若为 Exitting with status 1 则是出错。

8.启动hadoop所有的进程:

start-all.sh

9.查看各个进程是否正常启动:

执行命令:

jps

执行结果:

5385 Jps
2422 NameNode
2538 DataNode
2742 SecondaryNameNode
3008 NodeManager
2892 ResourceManager

10.在网页上查看Hadoop信息:

http://localhost:50070

####六、参考文章 1.在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1(伪分布式)(http://www.linuxidc.com/Linux/2015-09/122873.htm)

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部