文档章节

大数据学习笔记-------------------(20_2)

henni_719
 henni_719
发布于 2017/03/14 17:26
字数 844
阅读 10
收藏 0

Step_4:HIVE安装

Step_4.1:下载Hive

通过:http://apache.petsads.us/hive/hive-2.1.0/,链接下载。记录下载的路径/下载,进入到下载路径下,下载成功会发现:apache-hive-2.1.0-bin.tar.gz


Step_4.2:解压并验证Hive压缩问价

进入到hive所在路径,执行tarzxvf apache-hive-2.1.0-bin.tar.gz,然后执行:ls,查看问价是否解压成功:

   

Step_4.3:把文件复制到/usr/local/hive路径下

在复制文件时由于权限不够,需要超级管理员权限。然后执行复制命令,把文件复制过去:

sudo mv apache-hive-0.14.0-bin/usr/local/hive

 

Step_4.4:设置Hive环境变量

在~/.bashrc文件设置Hive环境变量:

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">        </span>

然后执行:source ~/.bashrc

        

Step_5:配置Hive

为Hadoop配置Hive,需要编辑hive-env.sh文件,替换$HIVE_HOME/conf路径。执行命令重定向到Hiveconfig文件夹,并复制模板文件:

    

编辑hive-env.sh文件,并在文件中追加命令:

export  HADOOP_HOME=/usr/local/hadoop

Hive安装成功后,需要一个外部数据库服务来配置Metastore。外部服务选择Apache Derby

Step_6:下载并安装Apache Derby

Step_6.1:下载Apache Derby

 使用命令下载Apache Derby:

wget http://archive.apache.org/dist/db/derby/db-derby-10.4.2.0/db-derby-10.4.2.0-bin.tar.gz

 下载完成,执行:ls,查看下载文件:

   

Step_6.2:解压Derby文件并验证解压

进入到下载路径下,执行命令:tar zxvf  db-derby-10.4.2.0-bin.tar.gz,解压文件,然后执行:ls,查看解压是否成功:

    

Step_6.3:把文件复制到/usr/local/derby路径下

在复制文件时由于权限不够,需要超级管理员权限。然后执行复制命令,把文件复制过去:sudo mv db-derby-10.4.2.0-bin/usr/local/derby 

 

Step_6.4:设置Derby的环境

在~/.bashrc文件设置Derby环境变量:

 

export DERBY_HOME=/usr/local/derby
export PATH=$PATH:$DERBY_HOME/bin
export CLASSPATH=$CLASSPATH:$DERBY_HOME/lib/derby.jar:$DERBY_HOME/lib/derbytools.jar
   

然后执行:source ~/.bashrc

        

Step_6.5:创建存储Metastore的路径

$DERBY_HOME路径下创建一个命名为data的文件夹来存储Metastore数据,执行命令:mkdir $DERBY_HOME/data

        

到现在为止,Derby的安装和系统设置完成!

Step_7:配置Hive的Metastore

 配置Metastore意味着指定Hive存储数据库的位置。通过编辑$HIVE_HOME/conf中的hive-site.xml文件。首先,进入到路径下,执行:sudo cp hive-default.xml.template hive-site.xml

        

 打开hive-site.xml文件,在<configuration> </configuration>之间添加如下属性:

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby://localhost:1527/metastore_db;create=true </value>
<description>JDBC connect string for a JDBC metastore </description>
</property>
    

创建一个名为:jpox.properites的文件,并把以下内容添加进去:

   

javax.jdo.PersistenceManagerFactoryClass = org.jpox.PersistenceManagerFactoryImpl
org.jpox.autoCreateSchema = false
org.jpox.validateTables = false
org.jpox.validateColumns = false
org.jpox.validateConstraints = false
org.jpox.storeManagerType = rdbms
org.jpox.autoCreateSchema = true
org.jpox.autoStartMechanismMode = checked
org.jpox.transactionIsolation = read_committed
javax.jdo.option.DetachAllOnCommit = true
javax.jdo.option.NontransactionalRead = true
javax.jdo.option.ConnectionDriverName = org.apache.derby.jdbc.ClientDriver
javax.jdo.option.ConnectionURL = jdbc:derby://hadoop1:1527/metastore_db;create = true
javax.jdo.option.ConnectionUserName = APP
javax.jdo.option.ConnectionPassword = mine

    

Step_8:验证Hive安装

在运行Hive之前,需要创建一个/tmp文件夹,同时在HDFS中分离Hive文件。这里,使用/user/hive/warehouse文件夹。需要给新建的文件夹赋予写的权限:chmod g+w 

在验证Hive之前,需要设置在HDFS中的文件。执行命令如下:

$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse 
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp 
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse

执行下面命令,验证Hive安装:

cd $HIVE_HOME/bin
./hive

 安装成功,响应显示如下:


        

        

本文转载自:http://blog.csdn.net/henni_719/article/details/52873779

henni_719
粉丝 2
博文 466
码字总数 343938
作品 0
信阳
QA/测试工程师
私信 提问
20天,碎片化时间,266页西瓜书。大神笔记拿走,快速学起来

     五一小长假前,大数据文摘发起了打卡学习活动,收到了读者朋友的积极响应,也成了氛围良好的学习社区。目前,第三轮打卡学习活动即将接近尾声,文摘菌带大家一起来感受打卡学习社区...

大数据文摘
2018/05/13
0
0
第三期打卡召集令:李飞飞吴恩达周志华陪你过五一

     今天下班后,期待已久的五一小长假就开始了!相信大家都已经做好五一假期的安排,不管是出门还是宅在家,在给身体和心灵充电的同时,无比热爱学习的大数据文摘就来负责给你的脑袋充...

大数据文摘
2018/04/28
0
0
Android实战经验之图像处理及特效处理的集锦(总结版)

1 Android学习笔记进阶之在图片上涂鸦(能清屏) 2 Android学习笔记之详细讲解画圆角图片 3 Android学习笔记进阶20之得到图片的缩略图 4 Android学习笔记进阶19之给图片加边框 5 Android学习笔...

xiaosi
2012/03/12
40.1K
25
R语言学习笔记之相关性矩阵分析及其可视化

计算相关矩阵 R内置函数 cor() 可以用来计算相关系数:cor(x, method = c("pearson", "kendall", "spearman")),如果数据有缺失值,用cor(x, method = "pearson", use = "complete.obs")。 ......

R语言中文社区
2018/02/05
0
0
玩转大数据系列之Apache Pig高级技能之函数编程(六)

原创不易,转载请务必注明,原创地址,谢谢配合! http://my.oschina.net/u/1027043/blog Pig系列的学习文档,希望对大家有用,感谢关注散仙! Apache Pig的前世今生 Apache Pig如何自定义UDF...

九劫散仙
2015/03/18
112
0

没有更多内容

加载失败,请刷新页面

加载更多

Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
6
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
8
0
详解箭头函数和普通函数的区别以及箭头函数的注意事项、不适用场景

箭头函数是ES6的API,相信很多人都知道,因为其语法上相对于普通函数更简洁,深受大家的喜爱。就是这种我们日常开发中一直在使用的API,大部分同学却对它的了解程度还是不够深... 普通函数和...

OBKoro1
昨天
7
0
轻量级 HTTP(s) 代理 TinyProxy

CentOS 下安装 TinyProxy yum install -y tinyproxy 启动、停止、重启 # 启动service tinyproxy start# 停止service tinyproxy stop# 重启service tinyproxy restart 相关配置 默认...

Anoyi
昨天
2
0
Linux创建yum仓库

第一步、搞定自己的光盘 #创建文件夹 mkdir -p /media/cdrom #挂载光盘 mount /dev/cdrom /media/cdrom #编辑配置文件使其永久生效 vim /etc/fstab 第二步,编辑yun源 vim /ect yum.repos.d...

究极小怪兽zzz
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部