文档章节

Hive-1.2.2操作HBase-1.1.10

K_Zhiqiang
 K_Zhiqiang
发布于 2017/06/14 20:28
字数 297
阅读 36
收藏 0

Hive与HBase整合

1、在安装好HBase的服务器上安装Hive

2、配置环境变量HBASE_HOME=<hbase-install-dir>

3、进入Hive Cli,创建与HBase相关联的表即可

# 在hive中创建表t_event,会在hbase中同步创建表event
CREATE TABLE t_event(id string, channel_id string, item_id string, time timestamp, type string, user_id string, value double)
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
 	WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,event:channel_id,event:item_id,event:time,event:type,event:user_id,event:value")
 	TBLPROPERTIES ("hbase.table.name" = "event");


# hive操作已经存在的hbase。使用CREATE EXTERNAL TABLE:
CREATE EXTERNAL TABLE t_event(id string, channel_id string, item_id string, time timestamp, type string, user_id string, value double)
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
 	WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,event:channel_id,event:item_id,event:time,event:type,event:user_id,event:value")
 	TBLPROPERTIES ("hbase.table.name" = "event");

4、若HBase中存储的数据是int、long等非string类型转换后的字节数组,则在进行hive映射时需指明"hbase.table.default.storage.type" = "binary",如下

CREATE EXTERNAL TABLE t_event(id string, channel_id string, item_id string, time timestamp, type string, user_id string, value double)
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
 	WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,event:channel_id,event:item_id,event:time,event:type,event:user_id,event:value","hbase.table.default.storage.type" = "binary")
 	TBLPROPERTIES ("hbase.table.name" = "event");

# 或者使用下面的写法(HBase列名后加#b)
CREATE EXTERNAL TABLE t_event(id string, channel_id string, item_id string, time timestamp, type string, user_id string, value double)
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
 	WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,event:channel_id,event:item_id,event:time,event:type,event:user_id,event:value#b")
 	TBLPROPERTIES ("hbase.table.name" = "event");

© 著作权归作者所有

K_Zhiqiang
粉丝 0
博文 24
码字总数 13488
作品 0
海淀
程序员
私信 提问
hive 与 hbase 结合

一、hive与hbase的结合 Hive会经常和Hbase结合使用,把Hbase作为Hive的存储路径,所以Hive整合Hbase尤其重要。使用Hive读取Hbase中的数据,可以使用HQL语句在HBase表上进行查询、插入操作;甚...

meteor_hy
2018/06/26
0
0
Apache HBase 1.1.10 发布,分布式数据库

Apache HBase 1.1.10 发布了,HBase 1.1.10 是 HBase 1.1 系列中的第 10 个补丁版本,主要是为 Hadoop 和 NoSQL 社区带来稳定可靠的数据库。该版本修复了自 1.1.9 版本以来包含的 10 多个错误...

局长
2017/05/02
1K
0
利用EMR Hive关联云HBase

云HBase需要借助外部Hive对多表进行关联分析,后续云HBase将集成Spark,更加建议使用Spark分析HBase数据。本文简单介绍下如何利用EMR的Hive关联云HBase的表。 1. 环境准备 购买按量计费的EMR...

巴客
2018/10/14
0
0
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别

初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,when to use...

Ryan-瑞恩
2014/05/29
480
0
Hive 和 HBase 的快速入门

即使是有一些正式的文档,构建以HBase为后端的Hive仍然是多少需要一些技巧的。希望这份手册能让你入门快一些。本文假定你已经安装好HBase,如果没有,参考我写的另一篇文章 HBase 快速入门。...

oschina
2013/05/14
2.5K
1

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周二乱弹 —— 开发语言和语言开发的能一样么

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @花间小酌:#今日歌曲推荐# 分享The Score的单曲《Revolution》 《Revolution》- The Score 手机党少年们想听歌,请使劲儿戳(这里) @批判派...

小小编辑
今天
1K
16
oracle ORA-39700: database must be opened with UPGRADE option

ORA-01092: ORACLE instance terminated. Disconnection forced ORA-00704: bootstrap process failure ORA-39700: database must be opened with UPGRADE option 进程 ID: 3650 会话 ID: 29......

Tank_shu
今天
3
0
分布式协调服务zookeeper

ps.本文为《从Paxos到Zookeeper 分布式一致性原理与实践》笔记之一 ZooKeeper ZooKeeper曾是Apache Hadoop的一个子项目,是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它...

ls_cherish
今天
4
0
聊聊DubboDefaultPropertiesEnvironmentPostProcessor

序 本文主要研究一下DubboDefaultPropertiesEnvironmentPostProcessor DubboDefaultPropertiesEnvironmentPostProcessor dubbo-spring-boot-project-2.7.3/dubbo-spring-boot-compatible/au......

go4it
昨天
3
0
redis 学习2

网站 启动 服务端 启动redis 服务端 在redis 安装目录下 src 里面 ./redis-server & 可以指定 配置文件或者端口 客户端 在 redis 的安装目录里面的 src 里面 ./redis-cli 可以指定 指定 连接...

之渊
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部