文档章节

HIVE的安装

尼古丁诱惑的男人
 尼古丁诱惑的男人
发布于 2015/04/22 11:44
字数 621
阅读 51
收藏 0

「深度学习福利」大神带你进阶工程师,立即查看>>>

首先在vi /etc/profile 配置hive的环境变量,

这是hive的元数据存储在mysql中,机器中必须先装有mysql数据库。当然也可以不配置元数据在mysql中的啦。

1) 在mysql里创建hive用户,并赋予其足够权限


[root@node01 mysql]# mysql -u root -p
Enter password:


mysql> create user 'hive' identified by 'hive';
Query OK, 0 rows affected (0.00 sec)


mysql> grant all privileges on *.* to 'hive' with grant option;
Query OK, 0 rows affected (0.00 sec)


mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)


2)测试hive用户是否能正常连接mysql,并创建hive数据库


[root@node01 mysql]# mysql -u hive -p
Enter password:

mysql> create database hive;
Query OK, 1 row affected (0.00 sec)


mysql> use hive;
Database changed
mysql> show tables;
Empty set (0.00 sec)


3)解压缩hive安装包

tar -xzvf hive-0.9.0.tar.gz
[hadoop@node01 ~]$ cd hive-0.9.0
[hadoop@node01 hive-0.9.0]$ ls
bin  conf  docs  examples  lib  LICENSE  NOTICE  README.txt  RELEASE_NOTES.txt  scripts  src

 

4)下载mysql连接java的驱动 并拷入hive home的lib下

[hadoop@node01 ~]$ mv mysql-connector-java-5.1.24-bin.jar ./hive-0.9.0/lib


5)修改环境变量,把Hive加到PATH

/etc/profile
export HIVE_HOME=/home/hadoop/hive-0.9.0
export PATH=$PATH:$HIVE_HOME/bin


6)修改hive-env.sh

[hadoop@node01 conf]$ cp hive-env.sh.template hive-env.sh
[hadoop@node01 conf]$ vi hive-env.sh


7)拷贝hive-default.xml 并命名为 hive-site.xml

修改四个关键配置 为上面mysql的配置
[hadoop@node01 conf]$ cp hive-default.xml.template hive-site.xml
[hadoop@node01 conf]$ vi hive-site.xml

 


<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

 

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>


8)启动Hadoop,打开hive shell 测试

[hadoop@node01 conf]$ start-all.sh


hive> load data inpath 'hdfs://node01:9000/user/hadoop/access_log.txt'
    > overwrite into table records;
Loading data to table default.records
Moved to trash: hdfs://node01:9000/user/hive/warehouse/records
OK
Time taken: 0.526 seconds
hive> select ip, count(*) from records
    > group by ip;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapred.reduce.tasks=<number>
Starting Job = job_201304242001_0001, Tracking URL = http://node01:50030/jobdetails.jsp?jobid=job_201504202001_0001
Kill Command = /home/hadoop/hadoop-0.20.2/bin/../bin/hadoop job  -Dmapred.job.tracker=192.168.231.131:9001 -kill job_201304242001_0001
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2015-04-20 20:11:03,127 Stage-1 map = 0%,  reduce = 0%
2015-04-20 20:11:11,196 Stage-1 map = 100%,  reduce = 0%
2015-04-20 20:11:23,331 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201304242001_0001
MapReduce Jobs Launched:
Job 0: Map: 1  Reduce: 1   HDFS Read: 7118627 HDFS Write: 9 SUCCESS
Total MapReduce CPU Time Spent: 0 msec
OK
NULL    28134
Time taken: 33.273 seconds

上一篇: sqoop数据迁移
下一篇: hadoop完全分布式
尼古丁诱惑的男人

尼古丁诱惑的男人

粉丝 47
博文 53
码字总数 32844
作品 0
深圳
其他
私信 提问
加载中
请先登录后再评论。
CDH5: 使用parcels配置lzo

一、Parcel 部署步骤 1 下载: 首先需要下载 Parcel。下载完成后,Parcel 将驻留在 Cloudera Manager 主机的本地目录中。 2 分配: Parcel 下载后,将分配到群集中的所有主机上并解压缩。 3 激...

cloud-coder
2014/07/01
6.8K
1
解析apk安装包的工具--apkutil

apkUtil是一个用来解析apk安装包的工具,通过它可以获取一个安装包的图标、程序名、所需android平台,权限等信息,并将其转换为java对象。该工具依赖于aapt工具,目前仅支持在windows平台上运...

貌似掉线
2012/11/18
5K
0
Hadoop 管理监控工具--Apache Ambari

Apache Ambari 是一个基于 Web 的 Apache Hadoop 集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 Ap...

匿名
2012/12/25
2.9W
3
Pulse 安装失败

刚刚下载 安装!!按照instanlling.txt指示做 build.xml 生成一个war包 放到tomcat下运行结果就是报异常失败

jiguansheng
2010/04/12
736
2
IPython notebook安装指导

1.环境准备 --- #在安装之前执行,依赖执行 # 依赖数据库,必须安装后才能使用 --- 如果安装后,执行命令 仍然出现下面的错误 "没有名字为的模块",一般来说需要重新编译python环境然后使用下...

胡佐治
2015/12/19
1.7K
0

没有更多内容

加载失败,请刷新页面

加载更多

android 获取mac地址

android获取Mac地址的两种方式,适用于6.0版本以下 public static String tryGetWifiMac(Context context) { WifiManager wm = (WifiManager) context.getApplicationContext().getSyst......

osc_8cqhsn24
1分钟前
0
0
阿里HR: 你会 Android 实现侧滑菜单-design吗? CN看了,原来这么简单呀!

google提供的Design开发包里,有很多实用好看的新控件,这里介绍下使用DrawerLayout+NavigationView实现侧滑菜单效果 要使用Design包,只要在项目的build.gradle中添加下依赖就好(记得更新S...

osc_evac23lh
3分钟前
0
0
IOS开发控件视图day15:UIPageControl设置定时器自动翻页,以及更改小圆点背景图片

.h文件 @property(nonatomic,strong)UIScrollView *scrollView0;@property (strong, nonatomic) UIPageControl *pageControl0;@property (nonatomic,strong) NSTimer *nstime; .m文件(具......

osc_494omtst
3分钟前
0
0
Codeforces Round #663 (Div. 2) (CD)

C. Cyclic Permutations 思路:全排列减去单峰排列即为答案。 单峰排列即:峰左边下标的左边没有比它大的,峰右边的下标的右边没有比它大的。 单峰排列个数: 2 n − 1 2^{n-1} 2n−1,除 n ...

osc_gh0ost1g
5分钟前
0
0
Python Pandas面试题及答案

Pandas是一个开源库,可在Python中提供高性能的数据处理。 Pandas这个名称源自“面板数据”一词,这表示来自多维数据的计量经济学。 它可用于Python中的数据分析,并由Wes McKinney在2008年开...

程序员面试吧
5分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部