文档章节

常用hive

caolinsheng
 caolinsheng
发布于 2014/06/06 18:04
字数 177
阅读 31
收藏 0

create table t_downloadAd (
event_number bigint,
user_id bigint,
apk_id         bigint,
cloud_id       bigint,
push_id        bigint, 
visit_url      string,
visit_date timestamp,
 action_date  timestamp,
 session_id             string,
 imei                   string,
 network_type           string,
 app_version_code       string,
 mobile_os              string,
 req_type               string,
 screen                 string,
 airpush_version_code   string,
 agent                  string,
 sim                    string,
 ip                     string,
 referer                string,
 service_ip             string,
 log_serial_num         string,
 simcard_type           string,
 uuadv_key              string,
 uuid                   string,
 iccid                  string,
 mac                    string,
 mnc                    string,
 cid                    string,
 from_module            string,
 client_type           int,
 from_system           int,
 mcc                   int,
 lac                   int,
 airpush_type     int,  
 request_type  int,
 click_type   int,
 real_link_url  string,
 website_id   bigint,
 link_id    bigint,
 request_url   string,
 resource_type  int,
 case_id    bigint,
 app_key    string,
 resource_id   string,
 receive_date string
)
partitioned by (report_date string)
stored as ORC ;

 

alter table t_downloadAd add  PARTITION(report_date='20131226');


 LOAD DATA local INPATH '/hadoop/datafile/report_date=20131226' OVERWRITE INTO TABLE t_downloadad partition (report_date = '20131226');

 select session_id,uuadv_key from t_downloadad where report_date='20131226' limit 50;
 alter table t_downloadAd drop partition(report_date = '20131228');
 conf.setBoolean("mongo.input.split.create_input_splits", false);

CREATE TABLE test_hive
   STORED AS TEXTFILE
   LOCATION '/user/test_hive'
   AS
select session_id,cloud_id from t_downloadad where report_date='20131226';


INSERT OVERWRITE TABLE test_hive
select session_id,cloud_id from t_downloadad where report_date='20131227';

© 著作权归作者所有

共有 人打赏支持
下一篇: hive相关
caolinsheng
粉丝 3
博文 9
码字总数 2532
作品 0
东城
私信 提问
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
2018/05/22
0
0
hive在E-MapReduce集群的实践(一)hive异常排查入门

hive是hadoop集群最常用的数据分析工具,只要运行sql就可以分析海量数据。初学者在使用hive时,经常会遇到各种问题,不知道该怎么解决。 本文是hive实践系列的第一篇,以E-MapReduce集群环境...

全部原谅
2018/08/03
0
0
Hive+LDAP+Sentry

介绍 hadoop生态里面常用的安全认证无非两种kerberos和ldap,kerberos的繁琐已经领教过了,ldap还好在生产中也用过,看来hive+ldap+sentry用起来应该比较顺手一些。hive+sentry的配置见Sentr...

China_OS
2017/04/26
0
0
hive利器 自定义UDF+重编译hive

用hive也有一段时间里,不过一直没写过相关到日志,因为主要用hive也无非是create table,upload data,CRUD 这几个过程。后来工作中需要用到一些常用到方法,了解到hive中支持UDF(User Defi...

王二铁
2012/06/28
0
3
supermy/hadoop-docker-nn

微云(可快速扩充) 一键构造大数据平台-介绍 Hadoop介绍 及应用场景. Hbase+Hive介绍 及应用场景. 普通版镜像包构造 压缩版镜像包构造《比较大》 常用场景1 hbase+hive(hbase进行删改的数据...

supermy
2017/06/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

大数据教程(11.9)hive操作基础知识

上一篇博客分享了hive的简介和初体验,本节博主将继续分享一些hive的操作的基础知识。 DDL操作 (1)创建表 #建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name ...

em_aaron
今天
2
0
OSChina 周四乱弹 —— 我家猫真会后空翻

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @我没有抓狂 :#今天听这个# 我艇牛逼,百听不厌,太好听辣 分享 Led Zeppelin 的歌曲《Stairway To Heaven》 《Stairway To Heaven》- Led Z...

小小编辑
今天
2
0
node调用dll

先安装python2.7 安装node-gyp cnpm install node-gyp -g 新建一个Electron-vue项目(案例用Electron-vue) vue init simulatedgreg/electron-vue my-project 安装electron-rebuild cnpm ins......

Chason-洪
今天
3
0
scala学习(一)

学习Spark之前需要学习Scala。 参考学习的书籍:快学Scala

柠檬果过
今天
3
0
通俗易懂解释网络工程中的技术,如STP,HSRP等

导读 在面试时,比如被问到HSRP的主备切换时间时多久,STP几个状态的停留时间,自己知道有这些东西,但在工作中不会经常用到,就老是记不住,觉得可能还是自己基础不够牢固,知识掌握不够全面...

问题终结者
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部