文档章节

HIVE的安装

脸大的都是胖纸
 脸大的都是胖纸
发布于 2015/04/22 11:44
字数 621
阅读 21
收藏 0
点赞 0
评论 0

首先在vi /etc/profile 配置hive的环境变量,

这是hive的元数据存储在mysql中,机器中必须先装有mysql数据库。当然也可以不配置元数据在mysql中的啦。

1) 在mysql里创建hive用户,并赋予其足够权限


[root@node01 mysql]# mysql -u root -p
Enter password:


mysql> create user 'hive' identified by 'hive';
Query OK, 0 rows affected (0.00 sec)


mysql> grant all privileges on *.* to 'hive' with grant option;
Query OK, 0 rows affected (0.00 sec)


mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)


2)测试hive用户是否能正常连接mysql,并创建hive数据库


[root@node01 mysql]# mysql -u hive -p
Enter password:

mysql> create database hive;
Query OK, 1 row affected (0.00 sec)


mysql> use hive;
Database changed
mysql> show tables;
Empty set (0.00 sec)


3)解压缩hive安装包

tar -xzvf hive-0.9.0.tar.gz
[hadoop@node01 ~]$ cd hive-0.9.0
[hadoop@node01 hive-0.9.0]$ ls
bin  conf  docs  examples  lib  LICENSE  NOTICE  README.txt  RELEASE_NOTES.txt  scripts  src

 

4)下载mysql连接java的驱动 并拷入hive home的lib下

[hadoop@node01 ~]$ mv mysql-connector-java-5.1.24-bin.jar ./hive-0.9.0/lib


5)修改环境变量,把Hive加到PATH

/etc/profile
export HIVE_HOME=/home/hadoop/hive-0.9.0
export PATH=$PATH:$HIVE_HOME/bin


6)修改hive-env.sh

[hadoop@node01 conf]$ cp hive-env.sh.template hive-env.sh
[hadoop@node01 conf]$ vi hive-env.sh


7)拷贝hive-default.xml 并命名为 hive-site.xml

修改四个关键配置 为上面mysql的配置
[hadoop@node01 conf]$ cp hive-default.xml.template hive-site.xml
[hadoop@node01 conf]$ vi hive-site.xml

 


<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

 

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>


8)启动Hadoop,打开hive shell 测试

[hadoop@node01 conf]$ start-all.sh


hive> load data inpath 'hdfs://node01:9000/user/hadoop/access_log.txt'
    > overwrite into table records;
Loading data to table default.records
Moved to trash: hdfs://node01:9000/user/hive/warehouse/records
OK
Time taken: 0.526 seconds
hive> select ip, count(*) from records
    > group by ip;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapred.reduce.tasks=<number>
Starting Job = job_201304242001_0001, Tracking URL = http://node01:50030/jobdetails.jsp?jobid=job_201504202001_0001
Kill Command = /home/hadoop/hadoop-0.20.2/bin/../bin/hadoop job  -Dmapred.job.tracker=192.168.231.131:9001 -kill job_201304242001_0001
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2015-04-20 20:11:03,127 Stage-1 map = 0%,  reduce = 0%
2015-04-20 20:11:11,196 Stage-1 map = 100%,  reduce = 0%
2015-04-20 20:11:23,331 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201304242001_0001
MapReduce Jobs Launched:
Job 0: Map: 1  Reduce: 1   HDFS Read: 7118627 HDFS Write: 9 SUCCESS
Total MapReduce CPU Time Spent: 0 msec
OK
NULL    28134
Time taken: 33.273 seconds

© 著作权归作者所有

共有 人打赏支持
脸大的都是胖纸
粉丝 43
博文 52
码字总数 32844
作品 0
深圳
其他
安装配置hive

环境: ubuntu 14.04 hadoop 1.0.1 5.5.46-0ubuntu0.14.04.2 hive 0.9.0 安装配置步骤: 安装mysql sudo apt-get install mysql-serve 在安装过程中会让你配置root用户的密码,去设置的是roo...

z_jordon
2015/12/14
130
0
初始Hive —— 深入浅出学Hive(二)

目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 第一部分:软件准备与环境规...

东方神剑
2016/01/13
36
0
Linux 下 hive 安装配置

hive和hadoop环境配合运行,所以在安装配置hive之前,需要确保hadoop环境已经搭建好并能正常运行,hadoop安装配置可参考(本文使用的是2.1.0版本):http://my.oschina.net/u/574036/blog/7...

驛路梨花醉美
2016/08/18
45
0
Hive安装与配置

Hive安装配置详解 本文主要是在Hadoop单机模式中演示Hive默认(嵌入式Derby模式)安装配置过程。 1、下载安装包 到官方网站下载最新的安装包,这里以Hive-0.12.0为例: $ tar -zxf hive-0.12...

dreaminthewind
2014/05/15
0
0
【Hive】Hive结合MySQL的配置及操作

1、安装MySQL (1)解压mysql安装包: (2)切换到root用户,查询系统中是否已安装mysql: 如果已安装,删除已安装的mysql文件: (3)进入解压好的mysql-libs目录,对root用户赋予执行权限:...

gongxifacai_believe
04/28
0
0
centos7 hive 单机模式安装配置

转载请务必注明原创地址为:http://dongkelun.com/2018/03/24/hiveConf/ 前言: 由于只是在自己的虚拟机上进行学习,所以对hive只是进行最简单的配置,其他复杂的配置文件没有配置。 1、前提...

董可伦
05/21
0
0
Hive(一):Hive的安装部署

一.首先安装MYSQL。 在安装Hive前,先安装MySQL,以MySQL作为元数据库,默认的元数据库是内嵌的Derby,但因其有单会话限制,所以选用MySQL。 1.首先检查系统中是否已经安装了MySQL。 在终端输...

牧羊人Berg
2016/05/29
3.4K
0
Hive系列(二)Hive环境安装

由于之前的Hadoop集群是用Docker搭建的,所以后面整个大数据环境,本人都会采用Docker构建,Hive环境安装需在之前的Hadoop基础上构建,参考文章如下: Hadoop系列(一)Docker部署Hadoop集群 ...

u012834750
05/29
0
0
3)hive服务安装

1.安装hive 1.1解压缩(/opt下) 1.2配置环境变量 export HIVE_HOME=/opt/hive export PATH=$HIVE_HOME/bin 2.安装mysql(hadoop001) 2.1 安装mysql server 2.2 安装mysql connector 2.3 将......

JPblog
2016/07/25
23
0
Missing Hive Execution Jar: /.../hive-exec-*.jar

运行hive时显示Missing Hive Execution Jar: /usr/hive/hive-0.11.0/bin/lib/hive-exec-*.jar 细细分析这个目录/bin/lib,在hive安装文件夹中这两个目录是并列的,而系统能够找到这样的链接,...

闵开慧
2014/03/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

java集合元素的默认大小

当底层实现涉及到扩容时,容器或重新分配一段更大的连续内存(如果是离散分配则不需要重新分配,离散分配都是插入新元素时动态分配内存),要将容器原来的数据全部复制到新的内存上,这无疑使...

竹叶青出于蓝
8分钟前
1
0
Java快速开发平台,JEECG 3.7.7闪电版本发布,增加多套主流UI代码生成器模板

JEECG 3.7.7 闪电版本发布,提供5套主流UI代码生成器模板 导读 ⊙平台性能优化,速度闪电般提升 ⊙提供5套新的主流UI代码生成器模板(Bootstrap表单+BootstrapTable列表\ ElementUI列表表单)...

Jeecg
12分钟前
0
0
export 和 module.export 的区别

在浏览器端 js 里面,为了解决各模块变量冲突等问题,往往借助于 js 的闭包把左右模块相关的代码都包装在一个匿名函数里。而 Nodejs 编写模块相当的自由,开发者只需要关注 require,exports,...

孟飞阳
14分钟前
0
0
技术教育的兴起

技术教育的兴起 作者: 阮一峰 1、 有一年,我在台湾环岛旅行。 花莲的海边,我遇到一对台湾青年夫妻,带着女儿在海滩上玩。我们聊了起来。 当时,我还在高校当老师。他们问我,是否觉得台湾...

吕伯文
14分钟前
0
0
Linux服务器下的HTTP抓包分析

说到抓包分析,最简单的办法莫过于在客户端直接安装一个Wireshark或者Fiddler了,但是有时候由于客户端开发人员(可能是第三方)知识欠缺或者其它一些原因,无法顺利的在客户端进行抓包分析,...

mylxsw
19分钟前
0
0
mybatis3-javaapi

sqlSessionFactoryBuilder->sqlSessionFactory->sqlSession<-rowbound<-resultHandler myBatis uses a Java enumeration wrapper for transaction isolation levels, called TransactionIsol......

writeademo
22分钟前
0
0
Java NIO:浅析I/O模型

也许很多朋友在学习NIO的时候都会感觉有点吃力,对里面的很多概念都感觉不是那么明朗。在进入Java NIO编程之前,我们今天先来讨论一些比较基础的知识:I/O模型。下面本文先从同步和异步的概念...

yzbty23
22分钟前
0
0
了解iOS消息推送一文就够:史上最全iOS Push技术详解

本文作者:陈裕发, 腾讯系统测试工程师,由腾讯WeTest整理发表。 1、引言 开发iOS系统中的Push推送,通常有以下3种情况: 1)在线Push:比如QQ、微信等IM界面处于前台时,聊天消息和指令都会...

JackJiang-
24分钟前
0
0
Mysql汉子转拼音

update t_app_city SET CITY_NAME_BEGIN = ELT(INTERVAL(CONV(HEX(LEFT(CONVERT(CITY_NAME USING gbk),1)),16,10), 0xB0A1,0xB0C5,0xB2C1,0xB4EE,0xB6EA,0xB7A2,0xB8C1,0xB9FE,0xBBF7, 0xBFA......

尘叙缘
26分钟前
0
0
大数据构建智慧城市“新引擎”,加速推进新旧动能转换

——“大数据与智慧城市”技术交流分享会——济南站召开 7月13日,“大数据携手智慧城市,助力山东新旧动能转换”技术交流分享会——济南站在山东信息通信技术研究院会议室成功举办,此次会议...

左手的倒影
28分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部