hive-1.2.1 hbase-1.1.3 整合

原创
2016/02/18 11:46
阅读数 227

hive-1.2.1安装:http://my.oschina.net/nenusoul/blog/616357

hbase-1.1.3安装:http://my.oschina.net/nenusoul/blog/616432

编译hive-hbase-handler-1.2.1.jar

    1. 下载hive-1.2.1源代码

    2. 修改apache-hive-1.2.1-src/pom.xml,把hbase版本修改为你使用的habse版本,然后用mvn编译打包。

<hbase.hadoop2.version>1.1.3</hbase.hadoop2.version>

    3. 生成的hive-hbase-handler-1.2.1.jar,拷贝到hive-1.2.1/lib下面,替换掉hive自带的hive-hbase-handler-1.2.1.jar。

    4. 启动hive

hive -hiveconf hbase.zookeeper.quorum=bi3:2181,bi4:2181,bi5:2181

问题:

    1. hive.aux.jars.path是否需要配置?

    这个要看你的配置了,如果你已经在系统变量中(比如.bash_profile),配置了HADOOP_HOME,HIVE_HOME,HBASE_HOME,那么你完全可以不用配置这个变量

    2. -hiveconf hbase.zookeeper.quorum是否需要?

    如果你已经配置了HBASE_HOME,那么恭喜你,这个你一样不需要配置

测试:

    新建一张hive,hbase整合表

hive> CREATE TABLE hbase_table_2(key int, value string) 
    > STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
    > WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") 
    > TBLPROPERTIES ("hbase.table.name" = "xyz2");
OK
Time taken: 5.586 seconds

hive> show tables;
OK
hbase_table_1
hbase_table_2
Time taken: 0.213 seconds, Fetched: 2 row(s)

hbase(main):003:0> list
TABLE                                                                                                                                            
xyz                                                                                                                                              
xyz2                                                                                                                                             
2 row(s) in 0.0160 seconds

=> ["xyz", "xyz2"]


    

展开阅读全文
加载中

作者的其它热门文章

打赏
2
1 收藏
分享
打赏
0 评论
1 收藏
2
分享
返回顶部
顶部