文档章节

CentOS7安装hive-2.1.0

x163麦芽糖
 x163麦芽糖
发布于 2016/11/23 14:42
字数 689
阅读 52
收藏 0

环境:

CentOS7

Hadoop-2.6.4,配置两个节点:master、slave1

mysql-server

过程:

下载、解压hive-2.1.0到/usr/hadoop-2.6.4/thirdparty

$ tar zxvf apache-hive-2.1.0-bin.tar.gz

设置 Hive环境变量

编辑 /etc/profile文件, 在其中添加以下内容:

# Hive Env
export HIVE_HOME=/usr/hadoop-2.6.4/thirdparty/apache-hive-2.1.0-bin
export PATH=$PATH:$HIVE_HOME/bin

使环境变量生效:

$ source /etc/profile

配置Hive

配置文件重命名

在运行 Hive 之前需要使用以下命令修改配置文件:

复制代码

cd /usr/hadoop-2.6.4/thirdparty/apache-hive-2.1.0-bin/conf
cp hive-env.sh.template hive-env.sh 

cp hive-default.xml.template hive-site.xml 

cp hive-log4j2.properties.template hive-log4j2.properties 

cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

复制代码

修改hive-env.sh

因为 Hive 使用了 Hadoop, 需要在 hive-env.sh 文件中指定 Hadoop 安装路径:

export JAVA_HOME=/usr/java/jdk-1.8.0_101    ##Java路径
export HADOOP_HOME=/usr/hadoop-2.6.4   ##Hadoop安装路径
export HIVE_HOME=/usr/hadoop-2.6.4/thirdparty/apache-hive-2.1.0-bin    ##Hive安装路径
export HIVE_CONF_DIR=$HIVE_HOME/conf    ##Hive配置文件路径

修改hive-site.xml

对应<name/>,修改成如下<value/>值:

复制代码

<property>
    <name>hive.exec.scratchdir</name>
    <value>/tmp/hive-${user.name}</value>
    <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description>
  </property>
  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/tmp/${user.name}</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/tmp/hive/resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
<property>
    <name>hive.querylog.location</name>
    <value>/tmp/${user.name}</value>
    <description>Location of Hive run time structured log file</description>
  </property>
<property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>/tmp/${user.name}/operation_logs</value>
    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
  </property>

复制代码

配置Hive Metastore

默认情况下, Hive的元数据保存在了内嵌的 derby 数据库里, 但一般情况下生产环境使用 MySQL 来存放 Hive 元数据。

  1. 将 mysql-connector-java-5.1.40-bin.jar 放入 $HIVE_HOME/lib 下。
  2. hive-site.xml 中配置 MySQL 数据库连接信息。

复制代码

<property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
</property>
<property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
</property>
<property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>hive</value>
</property>
<property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>hive</value>
</property>

复制代码

为Hive创建HDFS目录

在 Hive 中创建表之前需要使用以下 HDFS 命令创建 /tmp 和 /user/hive/warehouse (hive-site.xml 配置文件中属性项 hive.metastore.warehouse.dir 的默认值) 目录并给它们赋写权限。

start-dfs.sh
hdfs dfs -mkdir /tmp
hdfs dfs -mkdir -p /usr/hive/warehouse
hdfs dfs -chmod g+w /tmp
hdfs dfs -chmod g+w /usr/hive/warehouse

给mysql创建用户hive/密码hive:

$ mysql -u root -p #密码已设为123456
mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY "hive";
mysql> grant all privileges on *.* to hive@localhost identified by 'hive';

 

运行Hive

在命令行运行 hive 命令时必须保证 HDFS 已经启动。可以使用 start-dfs.sh 来启动 HDFS。

从 Hive 2.1 版本开始, 我们需要先运行 schematool 命令来执行初始化操作。

$ schematool -dbType mysql -initSchema

运行结果:

要使用 Hive CLI(Hive command line interface), 可以在终端输入以下命令:

$ hive

启动信息如下:

 

 

 使用 show tables 来显示所有的表:

 

本文转载自:https://my.oschina.net/jackieyeah/blog/735424

上一篇: redis线程模型
下一篇: centos 7 mysql
x163麦芽糖
粉丝 0
博文 16
码字总数 371
作品 0
朝阳
私信 提问
Linux 下 hive 安装配置

hive和hadoop环境配合运行,所以在安装配置hive之前,需要确保hadoop环境已经搭建好并能正常运行,hadoop安装配置可参考(本文使用的是2.1.0版本):http://my.oschina.net/u/574036/blog/7...

驛路梨花醉美
2016/08/18
101
0
大数据(Hive-搭建和基本使用)

Hive背景及应用场景 Hive是什么? 由facebook开源,最初用于解决海量结构化的日志数据统计问题; ETL (Extraction-Transformation-Loading )工具 构建在Hadoop之上的数据仓库; 数据计算使...

这很耳东先生
06/27
40
0
storm-hive本地模式运行topology时,hive文件夹在本地建立而不是集群

新手实验storm-hive插件的使用遇到下面的问题: 代码: 连接的远程集群,结果,创建文件却在本地计算机,请问该怎么修改呢? 重新建立maven项目后,运行topo 报错: java.lang.RuntimeExcep...

goldenMoon
2017/09/06
848
1
CentOS 6.9 中 搭建 Hive

解压 hive 安装包 2. 安装 mysql 3. 安装 mysql-connector 4. 建立 mysql-connector 链接 5. 启动 mysql 验证 mysql 服务 是否启动成功 6. 修改 mysql 数据库的 root 用户的密码 7. 配置 Hi...

自东土大唐而来
2018/01/16
34
0
Hive 分布式搭建,Spark集成Hive记录

本帖详细介绍搭建步骤,仅仅记录自己搭建过程以及采坑经历。 前提环境: Hadoop集群 版本2.7.2 Spark集群 版本2.1.0 Linux版本 Centos7 准备搭建 MySql版本5.5.61 ,Hive-2.1.0 去官网下载M...

我爱春天的毛毛雨
2018/10/18
143
0

没有更多内容

加载失败,请刷新页面

加载更多

64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
今天
13
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
今天
7
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
今天
10
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
今天
12
0
实验分析性专业硕士提纲撰写要点

为什么您需要研究论文的提纲? 首先当您进行研究时,您需要聚集许多信息和想法,研究论文提纲可以较好地组织你的想法, 了解您研究资料的流畅度和程度。确保你写作时不会错过任何重要资料以此...

论文辅导员
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部