文档章节

大数据学习笔记-------------------(20_1)

henni_719
 henni_719
发布于 2017/03/14 17:25
字数 724
阅读 3
收藏 0

第20章 HIVE 安装


在安装HIVE之前,需要安装JDK、Hadoop,由于在安装Spark时,已经安装过并配置过JDK,因此该章将从Hadoop的安装和配置开始。

20.1Hadoop安装

在安装Hadoop之前,先验证机器上是否已经安装Hadoop,检验是否安装过Hadoop的命令:hadoop version。如果机器已经安装,将会给出如下响应信息:


如果没有,安装步骤如下:

Step_1:下载Hadoop

下载Hadoop 2.7.3文件,通过下面的命令从Apache软件基金下载:

wgethttp://apache.claz.org/hadoop/common/hadoop-2.7.3/

解压下载的文件:tar xzf  hadoop-2.7.3.tar.gz

移动文件:mv  hadoop-2.4.1/*  hadoop/

Step_2:以伪分布方式安装Hadoop

Step_2.1:设置Hadoop环境变量

设置hadoop系统环境变量,并把变量追加在~/.bashrc文件中,

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

设置完毕,然后在当前系统运行命令: source ~/.bashrc

Step_2.2:配置Hadoop

      在路径"$HADOOP_HOME/etc/hadoop "路径下,查找Hadoop配置文件,执行命令:cd$HADOOP_HOME/etc/hadoop为了能使用Java开发Hadoop程序,需要重新设置hadoop-env.sh文件中的java的环境变量,用系统本地的java来替换JAVA_HOME中的值:exportJAVA_HOME=/usr/local/jdk1.7.0_71

1)  core-site.xml

    core-site.xml文件包含信息如下:hadoop实例的端口号、相关文件系统的内存、存储数据的内存限制、读/写缓存的大小。打开core-site.xml文件,在<configuration></configuration>之间添加如下属性:


2)  hdfs-site.xml

hdfs-site.xml包含的信息有:备份数据的值、命名节点的路径、本地问价系统数据节点路径。它意味着要存储Hadoop基础架构的位置。打开hdfs-site.xml文件,在<configuration></configuration>之间添加如下属性:


3)  yarn-site.xml

hadoop中配置yarn。打开yarn-site.xml文件<configuration></configuration>之间添加如下属性:


4)  mapred-site.xml

该文件用来指定使用的MapReduce框架。默认情况下,hadoop包含一个yarn-site.xml模板。首先,需要把文件mapred-site.xml.template复制到mapred-site.xml文件,使用如下命令如下:cp  mapred-site.xml.template  mapred-site.xml

打开mapred-site.xml文件<configuration></configuration>之间添加如下属性:


Step_3:验证Hadoop安装

Step_3.1:建立命名节点

用命令"hdfs namenode -format"建立命名节点,期望的输出结:

    

Step_3.2:验证Hadoop dfs

用命令:start-dfs.sh启动dfs,执行该命令启动hadoop文件系统,期望输出结果如下:

        

Step_3.3:验证Yarn脚本

用命令:start-yarn.sh启动yarn脚本。执行该命令启动yarndaemons,期望输出结果如下:

       

Step_3.4:浏览器进入Hadoop

Hadoop的默认端口号是50070.使用URLhttp://localhost:50070/,进入Hadoop服务:


Step_3.5:验证集群中的所有应用程序

接入集群中所有应用程的默认接口是:8088。使用URL: http://localhost:8088/,浏览服务:


本文转载自:http://blog.csdn.net/henni_719/article/details/52869076

henni_719
粉丝 2
博文 466
码字总数 343938
作品 0
信阳
QA/测试工程师
私信 提问
第三期打卡召集令:李飞飞吴恩达周志华陪你过五一

     今天下班后,期待已久的五一小长假就开始了!相信大家都已经做好五一假期的安排,不管是出门还是宅在家,在给身体和心灵充电的同时,无比热爱学习的大数据文摘就来负责给你的脑袋充...

大数据文摘
2018/04/28
0
0
20天,碎片化时间,266页西瓜书。大神笔记拿走,快速学起来

     五一小长假前,大数据文摘发起了打卡学习活动,收到了读者朋友的积极响应,也成了氛围良好的学习社区。目前,第三轮打卡学习活动即将接近尾声,文摘菌带大家一起来感受打卡学习社区...

大数据文摘
2018/05/13
0
0
玩转大数据系列之Apache Pig高级技能之函数编程(六)

原创不易,转载请务必注明,原创地址,谢谢配合! http://my.oschina.net/u/1027043/blog Pig系列的学习文档,希望对大家有用,感谢关注散仙! Apache Pig的前世今生 Apache Pig如何自定义UDF...

九劫散仙
2015/03/18
112
0
Android实战经验之图像处理及特效处理的集锦(总结版)

1 Android学习笔记进阶之在图片上涂鸦(能清屏) 2 Android学习笔记之详细讲解画圆角图片 3 Android学习笔记进阶20之得到图片的缩略图 4 Android学习笔记进阶19之给图片加边框 5 Android学习笔...

xiaosi
2012/03/12
40.1K
25
R语言学习笔记之相关性矩阵分析及其可视化

计算相关矩阵 R内置函数 cor() 可以用来计算相关系数:cor(x, method = c("pearson", "kendall", "spearman")),如果数据有缺失值,用cor(x, method = "pearson", use = "complete.obs")。 ......

R语言中文社区
2018/02/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
今天
6
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
今天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
今天
10
0
再见 Spring Boot 1.X,Spring Boot 2.X 走向舞台中心

2019年8月6日,Spring 官方在其博客宣布,Spring Boot 1.x 停止维护,Spring Boot 1.x 生命周期正式结束。 其实早在2018年7月30号,Spring 官方就已经在博客进行过预告,Spring Boot 1.X 将维...

Java技术剑
今天
18
0
浅谈java过滤器Filter

一、简介 Servlet中的过滤器Filter是实现了javax.servlet.Filter接口的服务器端程序,主要的用途是过滤字符编码、做一些业务逻辑判断如是否有权限访问页面等。其工作原理是,只要你在web.xml...

青衣霓裳
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部