文档章节

使用远程mysql作为元数据库安装Hive

张超
 张超
发布于 2015/02/15 03:41
字数 532
阅读 2599
收藏 8
环境:
CentOS6.6  hadoop1.2.1  mysql5.1.73

1、下载
[grid@hadoop1 ~]$ wget http://mirrors.cnnic.cn/apache/hive/hive-1.0.0/apache-hive-1.0.0-bin.tar.gz

2、解压
[grid@hadoop1 ~]$ tar -zxf apache-hive-1.0.0-bin.tar.gz

3、设置环境变量
[grid@hadoop1 ~]$ vim .bash_profile
HIVE_HOME=/home/grid/apache-hive-1.0.0-bin
PATH=$PATH:$HIVE_HOME/bin
CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
export HIVE_HOME PATH CLASSPATH

[grid@hadoop1 ~]$ source .bash_profile

4、编辑Hive配置文件
a、编辑 hive-env.sh ,指定 HADOOP_HOME 、HIVE_CONF_DIR
[grid@hadoop1 conf]$ pwd
/home/grid/apache-hive-1.0.0-bin/conf
[grid@hadoop1 conf]$ cp hive-env.sh.template hive-env.sh
[grid@hadoop1 conf]$ vim hive-env.sh
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/grid/hadoop-1.2.1
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/grid/apache-hive-1.0.0-bin/conf

b、编辑 hive-site.xml ,修改数据库连接属性(javax.jdo.option.ConnectionURL/ConnectionDriverName/ConnectionUserName/ConnectionPassword)
[grid@hadoop1 conf]$ cp hive-default.xml.template hive-site.xml
[grid@hadoop1 conf]$ vi hive-site.xml
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.0.103:3306/hivedb</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://192.168.0.104:9083</value>
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
    </property>

5、复制MySQL的JDBC驱动包到Hive的lib目录下

6、启动Hive(hadoop已启动)
(大多数的部署是不需要配置 hive.metastore.uris 的。对于那些非Java客户端而又需要获取元数据存储信息时才会使用 ThriftMetastore 组件。如若配置了 hive.metastore.uris ,则必须首先启动 ThriftMetastore ,然后才能启动 hive 客户端;否则,可直接启动 hive 客户端。)
启动 ThriftMetastore 服务
[grid@hadoop1 ~]$ hive --service metastore  &
Starting Hive Metastore Server

启动客户端
[grid@hadoop1 ~]$ hive

Logging initialized using configuration in jar:file:/home/grid/apache-hive-1.0.0-bin/lib/hive-common-1.0.0.jar!/hive-log4j.properties
hive>



补充:如果使用 hive.metastore.uris 可以将hive服务端与客户端分离
服务端:
<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.0.103:3306/hivedb</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
    </property>

客户端:

<property>
        <name>hive.metastore.local</name>
        <value>false</value>
    </property>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://192.168.0.104:9083</value>
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
    </property>





© 著作权归作者所有

共有 人打赏支持
张超
粉丝 42
博文 132
码字总数 100517
作品 0
广州
后端工程师
hive-mysql的关系(Hive集成Mysql作为元数据)

Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 ...

cookqq
2014/01/04
0
0
配置Hive

Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程,它提供了对外的入口...

phacks
2016/09/11
14
0
手把手教你搭建hadoop+hive测试环境(新手向)

本文由 网易云 发布 作者:唐雕龙 本篇文章仅限内部分享,如需转载,请联系网易获取授权。 面向新手的hadoop+hive学习环境搭建,加对我走过的坑总结,避免大家踩坑。 对于hive相关docker,并...

wangyiyungw
05/10
0
0
【干货】Apache Hive 2.1.1 安装配置超详细过程,配置hive、beeline、hwi、HCatalog、WebHCat等组件...

在Docker环境成功搭建了Apache Hadoop 2.8 分布式集群,并实现了NameNode HA、ResourceManager HA之后(详见我的另一篇博文:Apache Hadoop 2.8分布式集群详细搭建过程),接下来将搭建最新稳...

implok
04/13
0
0
【干货】Apache Hive 2.1.1 安装配置超详细过程,配置hive、beeline、hwi、HCatalog、WebHCat等组件

在Docker环境成功搭建了Apache Hadoop 2.8 分布式集群,并实现了NameNode HA、ResourceManager HA之后(详见我的另一篇博文:Apache Hadoop 2.8分布式集群详细搭建过程),接下来将搭建最新稳...

雪饼
2017/06/28
2.2K
2

没有更多内容

加载失败,请刷新页面

加载更多

下一页

RabbitMQ在CentOS环境安装

1.废话不多说准备一台虚拟机,系统为centos,我这里使用的系统版本如下图所示:

凌晨一点
54分钟前
0
0
线程池相关

在java.util.concurrent包下,提供了一系列与线程池相关的类。 使用线程池的好处 降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗; 提高响应速度。当任务到达时,任务...

edwardGe
56分钟前
0
0
学习大数据这三个关键技术是一定要掌握!

大数据时代全面来临,大数据、人工智能等技术引领科技创新潮流,获得国家政策大力支持,前景广阔。学习大数据技术的人自然是络绎不绝, 学习大数据虽然是一个趋势,但也要注意大数据培训课程...

董黎明
今天
0
0
jetbrains 上传代码到github

设置中找github 获取token 验证是否成功 测试git 生成key,一路回车即可 ssh-keygen -t rsa -C “youremail@example.com” 打开pub复制key,需要再次输入一次密码 验证是否成功,输入yes即可...

阿豪boy
今天
0
0
分布式服务框架(拾遗)

前言 现在的大部分工程都已经是基于分布式架构来处理。所以这里对分布式框架做一个简单的总结 常用的RPC框架 RPC框架原理 RPC(Remote Procedure Call,远程过程调用)一般用来实现部署在不同...

kukudeku
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部