hive整合可能有很多版本不一样,但是hive的版本一定要能支持整合hbase,hive-0.6.0以前的版本不支持,之后的版本才支持整合hbase。
1.hive和hbase都独立安装成功,都能正常运行。
2.hadoop1.x查看hive/lib下有没有包hbase-0.90.5.jar和zookeeper-3.3.2.jar,没有的话则从hbase的lib包下拷贝过去,如果版本不一样,则替换成hbase下的版本。
hadoop2.x查看hive/lib下有没有包hbase-client-0.98.1-cdh5.1.0.jar,hbase-common-0.98.1-cdh5.1.0.jar,hive-hbase-handler-0.12.0-cdh5.1.0.jar,zookeeper-3.4.5-cdh5.1.0.jar,hbase-server-0.98.1-cdh5.1.0.jar,hbase-common-0.98.0-hadoop2-tests.jar,hbase-protocol-0.98.0-hadoop2.jar,htrace-core-2.04.jar等包,没有的话则从hbase的lib包下拷贝过去。
注意第三步添加路径时需添加第二步所有的jar包!!
3.查看hive/conf/hive-site.xml有没有配hive.aux.jars.path属性,添加包以第二步的包为准,值应该类似如下,你也可以去hive-env.sh中的HIVE.AUX.JARS.PATH里配置:
<property>
<name>hive.aux.jars.path</name>
<value>file:///usr/local/hive/lib/hive-hbase-handler-0.8.0.jar,file:///usr/local/hive/lib/hbase-0.90.5.jar,file:///usr/local/hive/lib/zookeeper-3.3.2.jar,file:///usr/local/hive/lib/hbase-server-0.98.1-cdh5.1.0.jar,file:///usr/local/hive/lib/hbase-common-0.98.1-cdh5.1.0-tests.jar,file:///usr/local/hive/lib/hbase-protocol-0.98.1-cdh5.1.0.jar,file:///usr/local/hive/lib/htrace-core-2.04.jar</value>
</property>
如果在执行hql的task时提示类不存在,则应该在此属性中加上对应的包,具体参考当hive和hbase整合之后,执行hql,提示找不到类。 hive引入jar包--HIVE.AUX.JARS.PATH和hive.aux.jars.path
如果在hive-site.xml中没有配置路径,则可以在启动hive时,设置路径:hive --auxpath /usr/local/hive/lib/hive-hbase-handler-0.8.0.jar, /usr/local/hive/lib/hbase-0.90.5.jar, /usr/local/hive/lib/zookeeper-3.3.2.jar。
4.配置hive.zookeeper.quorum和hive.zookeeper.quorum,内容为hbase的zookeeper。
<property>
<name>hive.zookeeper.quorum</name>
<value>node1,node2,node3</value>
<description>The list of zookeeper servers to talk to. This is only needed for read/write locks.</description>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node1,node2,node3</value>
<description>The list of zookeeper servers to talk to. This is only needed for read/write locks.</description>
</property>
hbase.zookeeper.quorum属性在hive-site.xml中没有,需加上,如果这里不配置,那么联合hbase启动时,需要加上 --hiveconf hbase.master=master:60000,才能联合hbase成功。
这里不需要指定zookeeper的端口,因为hive-site.xml还有一个属性hive.zookeeper.client.port来专门指定zookeeper的端口。
5.进入hive shell,运行命令:hive。hive和hbase整合步骤即完成了。也可以使用命令:hive --hiveconf hbase.master=master:60000,但是hbase.zookeeper.quorum已经配置了hbase部分内容,所以可以不加 --hiveconf hbase.master=master:60000,他们都是用来确定hbase master的。
6.测试,在hive cli中运行如下命令建表,再到hbase中查看xyz表是否已经存在,存在则整合成功。
CREATE TABLE hbase_table_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "xyz"); |
hbase.table.name 定义在hbase的table名称 ,hbase.columns.mapping 定义在hbase的列族。
参考: