文档章节

常用hive

caolinsheng
 caolinsheng
发布于 2014/06/06 18:04
字数 177
阅读 30
收藏 0

create table t_downloadAd (
event_number bigint,
user_id bigint,
apk_id         bigint,
cloud_id       bigint,
push_id        bigint, 
visit_url      string,
visit_date timestamp,
 action_date  timestamp,
 session_id             string,
 imei                   string,
 network_type           string,
 app_version_code       string,
 mobile_os              string,
 req_type               string,
 screen                 string,
 airpush_version_code   string,
 agent                  string,
 sim                    string,
 ip                     string,
 referer                string,
 service_ip             string,
 log_serial_num         string,
 simcard_type           string,
 uuadv_key              string,
 uuid                   string,
 iccid                  string,
 mac                    string,
 mnc                    string,
 cid                    string,
 from_module            string,
 client_type           int,
 from_system           int,
 mcc                   int,
 lac                   int,
 airpush_type     int,  
 request_type  int,
 click_type   int,
 real_link_url  string,
 website_id   bigint,
 link_id    bigint,
 request_url   string,
 resource_type  int,
 case_id    bigint,
 app_key    string,
 resource_id   string,
 receive_date string
)
partitioned by (report_date string)
stored as ORC ;

 

alter table t_downloadAd add  PARTITION(report_date='20131226');


 LOAD DATA local INPATH '/hadoop/datafile/report_date=20131226' OVERWRITE INTO TABLE t_downloadad partition (report_date = '20131226');

 select session_id,uuadv_key from t_downloadad where report_date='20131226' limit 50;
 alter table t_downloadAd drop partition(report_date = '20131228');
 conf.setBoolean("mongo.input.split.create_input_splits", false);

CREATE TABLE test_hive
   STORED AS TEXTFILE
   LOCATION '/user/test_hive'
   AS
select session_id,cloud_id from t_downloadad where report_date='20131226';


INSERT OVERWRITE TABLE test_hive
select session_id,cloud_id from t_downloadad where report_date='20131227';

© 著作权归作者所有

共有 人打赏支持
caolinsheng
粉丝 3
博文 9
码字总数 2532
作品 0
东城
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
05/22
0
0
hive在E-MapReduce集群的实践(一)hive异常排查入门

hive是hadoop集群最常用的数据分析工具,只要运行sql就可以分析海量数据。初学者在使用hive时,经常会遇到各种问题,不知道该怎么解决。 本文是hive实践系列的第一篇,以E-MapReduce集群环境...

全部原谅
08/03
0
0
Hive+LDAP+Sentry

介绍 hadoop生态里面常用的安全认证无非两种kerberos和ldap,kerberos的繁琐已经领教过了,ldap还好在生产中也用过,看来hive+ldap+sentry用起来应该比较顺手一些。hive+sentry的配置见Sentr...

China_OS
2017/04/26
0
0
hive利器 自定义UDF+重编译hive

用hive也有一段时间里,不过一直没写过相关到日志,因为主要用hive也无非是create table,upload data,CRUD 这几个过程。后来工作中需要用到一些常用到方法,了解到hive中支持UDF(User Defi...

王二铁
2012/06/28
0
3
supermy/hadoop-docker-nn

微云(可快速扩充) 一键构造大数据平台-介绍 Hadoop介绍 及应用场景. Hbase+Hive介绍 及应用场景. 普通版镜像包构造 压缩版镜像包构造《比较大》 常用场景1 hbase+hive(hbase进行删改的数据...

supermy
2017/06/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Generator-ES6

基本概念 Generator 函数是 ES6 提供的一种异步编程解决方案,语法行为与传统函数完全不同。 Generator 函数有多种理解角度。语法上,首先可以把它理解成,Generator 函数是一个状态机,封装...

简心
14分钟前
2
0
FullCalendar日历插件说明文档

普通显示设置 属性 描述 默认值 header 设置日历头部信息。 如果设置为false,则不显示头部信息。包括left,center,right左中右三个位置,每个位置都可以对应以下不同的配置: title: 显示当...

ada_young
15分钟前
0
0
Redis知识总结--string的内部实现

SDS(Simple Dynamic String) String的数据结构是一个字节数组,但简单的获取数组长度的时间复杂度就是O(n),这对于单线程的redis来讲是不能接受的,因此string在redis中的实现是SDS类,SDS类...

looqy
25分钟前
1
0
SpringBoot开发案例之整合Dubbo分布式服务

前言 在 SpringBoot 很火热的时候,阿里巴巴的分布式框架 Dubbo 不知是处于什么考虑,在停更N年之后终于进行维护了。在之前的微服务中,使用的是当当维护的版本 Dubbox,整合方式也是使用的 ...

Java干货分享
31分钟前
1
0
美团团购订单系统优化记

团购订单系统简介 美团团购订单系统主要作用是支撑美团的团购业务,为上亿美团用户购买、消费提供服务保障。2015年初时,日订单量约400万~500万,同年七夕订单量达到800万。 目标 作为线上S...

Skqing
35分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部