大数据学习笔记-------------------(20_1)

2017/03/14 17:25
阅读数 4

第20章 HIVE 安装


在安装HIVE之前,需要安装JDK、Hadoop,由于在安装Spark时,已经安装过并配置过JDK,因此该章将从Hadoop的安装和配置开始。

20.1Hadoop安装

在安装Hadoop之前,先验证机器上是否已经安装Hadoop,检验是否安装过Hadoop的命令:hadoop version。如果机器已经安装,将会给出如下响应信息:


如果没有,安装步骤如下:

Step_1:下载Hadoop

下载Hadoop 2.7.3文件,通过下面的命令从Apache软件基金下载:

wgethttp://apache.claz.org/hadoop/common/hadoop-2.7.3/

解压下载的文件:tar xzf  hadoop-2.7.3.tar.gz

移动文件:mv  hadoop-2.4.1/*  hadoop/

Step_2:以伪分布方式安装Hadoop

Step_2.1:设置Hadoop环境变量

设置hadoop系统环境变量,并把变量追加在~/.bashrc文件中,

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

设置完毕,然后在当前系统运行命令: source ~/.bashrc

Step_2.2:配置Hadoop

      在路径"$HADOOP_HOME/etc/hadoop "路径下,查找Hadoop配置文件,执行命令:cd$HADOOP_HOME/etc/hadoop为了能使用Java开发Hadoop程序,需要重新设置hadoop-env.sh文件中的java的环境变量,用系统本地的java来替换JAVA_HOME中的值:exportJAVA_HOME=/usr/local/jdk1.7.0_71

1)  core-site.xml

    core-site.xml文件包含信息如下:hadoop实例的端口号、相关文件系统的内存、存储数据的内存限制、读/写缓存的大小。打开core-site.xml文件,在<configuration></configuration>之间添加如下属性:


2)  hdfs-site.xml

hdfs-site.xml包含的信息有:备份数据的值、命名节点的路径、本地问价系统数据节点路径。它意味着要存储Hadoop基础架构的位置。打开hdfs-site.xml文件,在<configuration></configuration>之间添加如下属性:


3)  yarn-site.xml

hadoop中配置yarn。打开yarn-site.xml文件<configuration></configuration>之间添加如下属性:


4)  mapred-site.xml

该文件用来指定使用的MapReduce框架。默认情况下,hadoop包含一个yarn-site.xml模板。首先,需要把文件mapred-site.xml.template复制到mapred-site.xml文件,使用如下命令如下:cp  mapred-site.xml.template  mapred-site.xml

打开mapred-site.xml文件<configuration></configuration>之间添加如下属性:


Step_3:验证Hadoop安装

Step_3.1:建立命名节点

用命令"hdfs namenode -format"建立命名节点,期望的输出结:

    

Step_3.2:验证Hadoop dfs

用命令:start-dfs.sh启动dfs,执行该命令启动hadoop文件系统,期望输出结果如下:

        

Step_3.3:验证Yarn脚本

用命令:start-yarn.sh启动yarn脚本。执行该命令启动yarndaemons,期望输出结果如下:

       

Step_3.4:浏览器进入Hadoop

Hadoop的默认端口号是50070.使用URLhttp://localhost:50070/,进入Hadoop服务:


Step_3.5:验证集群中的所有应用程序

接入集群中所有应用程的默认接口是:8088。使用URL: http://localhost:8088/,浏览服务:


展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部