文档章节

使用远程mysql作为元数据库安装Hive

张超
 张超
发布于 2015/02/15 03:41
字数 532
阅读 2591
收藏 8
点赞 0
评论 0
环境:
CentOS6.6  hadoop1.2.1  mysql5.1.73

1、下载
[grid@hadoop1 ~]$ wget http://mirrors.cnnic.cn/apache/hive/hive-1.0.0/apache-hive-1.0.0-bin.tar.gz

2、解压
[grid@hadoop1 ~]$ tar -zxf apache-hive-1.0.0-bin.tar.gz

3、设置环境变量
[grid@hadoop1 ~]$ vim .bash_profile
HIVE_HOME=/home/grid/apache-hive-1.0.0-bin
PATH=$PATH:$HIVE_HOME/bin
CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
export HIVE_HOME PATH CLASSPATH

[grid@hadoop1 ~]$ source .bash_profile

4、编辑Hive配置文件
a、编辑 hive-env.sh ,指定 HADOOP_HOME 、HIVE_CONF_DIR
[grid@hadoop1 conf]$ pwd
/home/grid/apache-hive-1.0.0-bin/conf
[grid@hadoop1 conf]$ cp hive-env.sh.template hive-env.sh
[grid@hadoop1 conf]$ vim hive-env.sh
# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/grid/hadoop-1.2.1
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/grid/apache-hive-1.0.0-bin/conf

b、编辑 hive-site.xml ,修改数据库连接属性(javax.jdo.option.ConnectionURL/ConnectionDriverName/ConnectionUserName/ConnectionPassword)
[grid@hadoop1 conf]$ cp hive-default.xml.template hive-site.xml
[grid@hadoop1 conf]$ vi hive-site.xml
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.0.103:3306/hivedb</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://192.168.0.104:9083</value>
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
    </property>

5、复制MySQL的JDBC驱动包到Hive的lib目录下

6、启动Hive(hadoop已启动)
(大多数的部署是不需要配置 hive.metastore.uris 的。对于那些非Java客户端而又需要获取元数据存储信息时才会使用 ThriftMetastore 组件。如若配置了 hive.metastore.uris ,则必须首先启动 ThriftMetastore ,然后才能启动 hive 客户端;否则,可直接启动 hive 客户端。)
启动 ThriftMetastore 服务
[grid@hadoop1 ~]$ hive --service metastore  &
Starting Hive Metastore Server

启动客户端
[grid@hadoop1 ~]$ hive

Logging initialized using configuration in jar:file:/home/grid/apache-hive-1.0.0-bin/lib/hive-common-1.0.0.jar!/hive-log4j.properties
hive>



补充:如果使用 hive.metastore.uris 可以将hive服务端与客户端分离
服务端:
<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.0.103:3306/hivedb</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
    </property>

客户端:

<property>
        <name>hive.metastore.local</name>
        <value>false</value>
    </property>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://192.168.0.104:9083</value>
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
    </property>





© 著作权归作者所有

共有 人打赏支持
张超
粉丝 42
博文 116
码字总数 100428
作品 0
广州
后端工程师
HIVE与mysql的关系

Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 ...

脸大的都是胖纸 ⋅ 2015/04/22 ⋅ 0

hive-mysql的关系(Hive集成Mysql作为元数据)

Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 ...

cookqq ⋅ 2014/01/04 ⋅ 0

配置Hive

Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程,它提供了对外的入口...

phacks ⋅ 2016/09/11 ⋅ 0

手把手教你搭建hadoop+hive测试环境(新手向)

本文由 网易云 发布 作者:唐雕龙 本篇文章仅限内部分享,如需转载,请联系网易获取授权。 面向新手的hadoop+hive学习环境搭建,加对我走过的坑总结,避免大家踩坑。 对于hive相关docker,并...

wangyiyungw ⋅ 05/10 ⋅ 0

【干货】Apache Hive 2.1.1 安装配置超详细过程,配置hive、beeline、hwi、HCatalog、WebHCat等组件...

在Docker环境成功搭建了Apache Hadoop 2.8 分布式集群,并实现了NameNode HA、ResourceManager HA之后(详见我的另一篇博文:Apache Hadoop 2.8分布式集群详细搭建过程),接下来将搭建最新稳...

implok ⋅ 04/13 ⋅ 0

【干货】Apache Hive 2.1.1 安装配置超详细过程,配置hive、beeline、hwi、HCatalog、WebHCat等组件

在Docker环境成功搭建了Apache Hadoop 2.8 分布式集群,并实现了NameNode HA、ResourceManager HA之后(详见我的另一篇博文:Apache Hadoop 2.8分布式集群详细搭建过程),接下来将搭建最新稳...

雪饼 ⋅ 2017/06/28 ⋅ 2

hive系列之懵懂

大数据时代的技术hive:hive介绍  首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性:   1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一...

空_明 ⋅ 2013/12/04 ⋅ 0

hive安装配置

安装hive之前需先安装jdk1.7、hadoop2.6.0、mysql-5.6.24。 1.配置hive的元数据库,进入mysql,运行如下命令: create database hive character set latin1; 注意1:字符集必须指定为latin1,...

cjun1990 ⋅ 2015/07/15 ⋅ 0

Hive详细教程

 为什么选择Hive? 基于Hadoop的大数据的计算/扩展能力 支持SQL like查询语言 统一的元数据管理 简单编程 Hive的安装 1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据,...

simpler ⋅ 2014/04/29 ⋅ 6

hive-0.12安装详解

-----成王败寇(陈小春) Hive安装部署 (安装会有版本问题 hadoop1.0版本以上的请安装hive-0.90测试 hadoop2.0以上请安装hive-0.12.0或者最新版测试) hive-0.9.0 下载地址:http://pan.ba...

片刻 ⋅ 2014/01/13 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

个人博客的运营模式能否学习TMALL天猫质量为上?

心情随笔|个人博客的运营模式能否学习TMALL天猫质量为上? 中国的互联网已经发展了很多年了,记得在十年前,个人博客十分流行,大量的人都在写博客,而且质量还不错,很多高质量的文章都是在...

原创小博客 ⋅ 今天 ⋅ 0

JavaScript零基础入门——(十一)JavaScript的DOM操作

JavaScript零基础入门——(十一)JavaScript的DOM操作 大家好,欢迎回到我们的JavaScript零基础入门。最近有些同学问我说,我讲的的比书上的精简不少。其实呢,我主要讲的是我在开发中经常会...

JandenMa ⋅ 今天 ⋅ 0

volatile和synchronized的区别

volatile和synchronized的区别 在讲这个之前需要先了解下JMM(Java memory Model :java内存模型):并发过程中如何处理可见性、原子性、有序性的问题--建立JMM模型 详情请看:https://baike.b...

MarinJ_Shao ⋅ 今天 ⋅ 0

深入分析Kubernetes Critical Pod(一)

Author: xidianwangtao@gmail.com 摘要:大家在部署Kubernetes集群AddOn组件的时候,经常会看到Annotation scheduler.alpha.kubernetes.io/critical-pod"="",以表示这是一个关键服务,那你知...

WaltonWang ⋅ 今天 ⋅ 0

原子性 - synchronized关键词

原子性概念 原子性提供了程序的互斥操作,同一时刻只能有一个线程能对某块代码进行操作。 原子性的实现方式 在jdk中,原子性的实现方式主要分为: synchronized:关键词,它依赖于JVM,保证了同...

dotleo ⋅ 今天 ⋅ 0

【2018.06.22学习笔记】【linux高级知识 14.4-15.3】

14.4 exportfs命令 14.5 NFS客户端问题 15.1 FTP介绍 15.2/15.3 使用vsftpd搭建ftp

lgsxp ⋅ 今天 ⋅ 0

JeeSite 4.0 功能权限管理基础(Shiro)

Shiro是Apache的一个开源框架,是一个权限管理的框架,实现用户认证、用户授权等。 只要有用户参与一般都要有权限管理,权限管理实现对用户访问系统的控制,按照安全规则或者安全策略控制用户...

ThinkGem ⋅ 昨天 ⋅ 0

python f-string 字符串格式化

主要内容 从Python 3.6开始,f-string是格式化字符串的一种很好的新方法。与其他格式化方式相比,它们不仅更易读,更简洁,不易出错,而且速度更快! 在本文的最后,您将了解如何以及为什么今...

阿豪boy ⋅ 昨天 ⋅ 0

Python实现自动登录站点

如果我们想要实现自动登录,那么我们就需要能够驱动浏览器(比如谷歌浏览器)来实现操作,ChromeDriver 刚好能够帮助我们这一点(非谷歌浏览器的驱动有所不同)。 一、确认软件版本 首先我们...

blackfoxya ⋅ 昨天 ⋅ 0

线性回归原理和实现基本认识

一:介绍 定义:线性回归在假设特证满足线性关系,根据给定的训练数据训练一个模型,并用此模型进行预测。为了了解这个定义,我们先举个简单的例子;我们假设一个线性方程 Y=2x+1, x变量为商...

wangxuwei ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部