加载中
3)hive服务安装

1.安装hive 1.1解压缩(/opt下) tar -zxvf apache-hive-1.2.1-bin.tar.gz mv apache-hive-1.2.1-bin hive 1.2配置环境变量 vi ~/.bashrc export HIVE_HOME=/opt/hive export PATH=$HIVE_HO...

2016/07/25 17:46
28
Hive整合映射HBase

1.整合操作 hive整合hbase实际上是为用户提供一种sqlOnHbase的方法。Hive和HBase通过接口互通,用户可以方便地通过SQL接口进行建表、映射表、查询、删除等操作。由于对于hiveOnHbase表的查询...

08/23 16:33
16
oracle/hive数据互导

Oracle -> hive 1.导出数据 sqluldr2.bin safe=yes user=ods/123456@TESTDB query="SELECT code,name,sex,test,department,month_id,day_id from ods.student where month_id='201509' and ...

2016/07/18 16:18
29
hive处理json和url

HIVE直接读入json 样例:表test,字段json_str存储了json字符串 { "firstName": "Brett", "lastName":"McLaughlin", "email": "aaaa" } { "firstName": "jesse", "lastName":"AJ", "email": "...

2017/04/10 17:32
86
hadoop日志解析方式总结

一、hive正则表 即建立hive表时指定解析正则式,直接用正则表达式解析日志为规范化的表。 日志类型: "tom"@_@123@_@"192.168.1.2"@_@"2017-02-05 12:13:06" "jack"@_@139@_@"192.168.221.23...

KYLIN立方体构建详解

一、环境准备 1.CDH环境 Hadoop 2.6.0+cdh5.11.1+2400 Zookeeper 3.4.5+cdh5.11.1+111 Hive 1.1.0+cdh5.11.1+1041 HBase 1.2.0+cdh5.11.1+319 Kylin apache-kylin-2.4.0-bin-cdh57 2.hive环境...

08/10 18:08
46
hive常用优化方式

1.列裁剪分区裁剪 尽可能早地过滤掉尽可能多的数据量,避免大量数据流入外层SQL。 列裁剪:在列存格式下(RCFile),列裁剪可以是我们只获取需要的列的数据,减少数据输入。 分区裁剪:分区在...

2016/08/02 11:35
171
Python编写Hive UDF

1. 目的 从string类型的字段中解析并汇总每种category类型的总amount 2. 素材 表名:test_table order_no hotel_seq discount_detail D8662EF4E 10212527 NULL 45C024849 ......

11/09 18:06
0
hive表存储格式及压缩

1.textfile Hive数据表的默认格式,磁盘开销大,数据解析开销大 存储方式:行存储 压缩方式:使用Gzip,Bzip2等压缩算法压缩,压缩后的文件不支持split 但在反序列化过程中,必须逐个字符判断...

1)CDH集群离线搭建

资源地址: 获取CM包(tar.gz) http://archive-primary.cloudera.com/cm5/cm/5/ cloudera-manager-el6-cm5.9.2_x86_64.tar.gz 获取CDH包 http://archive.cloudera.com/cdh5/parcels/5.6/ CD...

CDH5.11整合phoenix4.7

一、环境准备 1.CDH环境 LinuxOS CentOS6.7 Hadoop 2.6.0+cdh5.11.1+2400 Zookeeper 3.4.5+cdh5.11.1+111 Hive 1.1.0+cdh5.11.1+1041 HBase 1.2.0+cdh5.11.1+319 2.素材获取 进入Cloudera官网...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部