文档章节

常用hive

caolinsheng
 caolinsheng
发布于 2014/06/06 18:04
字数 177
阅读 30
收藏 0
点赞 0
评论 0

create table t_downloadAd (
event_number bigint,
user_id bigint,
apk_id         bigint,
cloud_id       bigint,
push_id        bigint, 
visit_url      string,
visit_date timestamp,
 action_date  timestamp,
 session_id             string,
 imei                   string,
 network_type           string,
 app_version_code       string,
 mobile_os              string,
 req_type               string,
 screen                 string,
 airpush_version_code   string,
 agent                  string,
 sim                    string,
 ip                     string,
 referer                string,
 service_ip             string,
 log_serial_num         string,
 simcard_type           string,
 uuadv_key              string,
 uuid                   string,
 iccid                  string,
 mac                    string,
 mnc                    string,
 cid                    string,
 from_module            string,
 client_type           int,
 from_system           int,
 mcc                   int,
 lac                   int,
 airpush_type     int,  
 request_type  int,
 click_type   int,
 real_link_url  string,
 website_id   bigint,
 link_id    bigint,
 request_url   string,
 resource_type  int,
 case_id    bigint,
 app_key    string,
 resource_id   string,
 receive_date string
)
partitioned by (report_date string)
stored as ORC ;

 

alter table t_downloadAd add  PARTITION(report_date='20131226');


 LOAD DATA local INPATH '/hadoop/datafile/report_date=20131226' OVERWRITE INTO TABLE t_downloadad partition (report_date = '20131226');

 select session_id,uuadv_key from t_downloadad where report_date='20131226' limit 50;
 alter table t_downloadAd drop partition(report_date = '20131228');
 conf.setBoolean("mongo.input.split.create_input_splits", false);

CREATE TABLE test_hive
   STORED AS TEXTFILE
   LOCATION '/user/test_hive'
   AS
select session_id,cloud_id from t_downloadad where report_date='20131226';


INSERT OVERWRITE TABLE test_hive
select session_id,cloud_id from t_downloadad where report_date='20131227';

© 著作权归作者所有

共有 人打赏支持
caolinsheng
粉丝 3
博文 9
码字总数 2532
作品 0
东城
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
05/22
0
0
hive利器 自定义UDF+重编译hive

用hive也有一段时间里,不过一直没写过相关到日志,因为主要用hive也无非是create table,upload data,CRUD 这几个过程。后来工作中需要用到一些常用到方法,了解到hive中支持UDF(User Defi...

王二铁
2012/06/28
0
3
supermy/hadoop-docker-nn

微云(可快速扩充) 一键构造大数据平台-介绍 Hadoop介绍 及应用场景. Hbase+Hive介绍 及应用场景. 普通版镜像包构造 压缩版镜像包构造《比较大》 常用场景1 hbase+hive(hbase进行删改的数据...

supermy
2017/06/04
0
0
hive实例,GPRS流量统计

最近面试,发现很多公司在使用hive对数据进行处理。 hive是hadoop家族成员,是一种解析like sql语句的框架。它封装了常用MapReduce任务,让你像执行sql一样操作存储在HDFS的表。 hive的表分为...

毛祥溢
2013/08/15
0
0
Hive 数据导入HBase的2种方法详解

最近经常被问到这个问题,所以简单写一下总结。 Hive数据导入到HBase基本有2个方案: 1、HBase中建表,然后Hive中建一个外部表,这样当Hive中写入数据后,HBase中也会同时更新 2、MapReduce...

王二铁
2015/08/27
0
0
hadoop面试记录(二)

最近面试面试题,回答自己总结的,有不对的地方欢迎大家留言指正 1 hadoop中配置文件有哪些,各自作用? hadoop-env.sh JAVAHOME,HADOOPCONFDIR,HADOOPLOGDIR,HADOOPPIDDIR,HADOOPCLASS...

等待救赎
2016/03/22
143
0
hive(04)、使用dbeaver客户端连接hive数据仓库

我们登陆hive shell 写复杂的长的sql语句不是很方便,没有格式化拷贝粘贴等常用操作,查询结果也不是很直观,时我们可以使用第三方的客户端连接hive进行操作,于是我们使用支持hive的数据库客...

MaxBill
01/15
0
4
5-Hadoop之旅-Hive(一)

Hive能做什么? Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低...

SET
2016/09/12
45
0
如何将一个excel内的大量数据导入hdfs、或者hive?

如何处理excel文件导入hadoop集群,在hive上建表,现在据我所知hive能直接导入数据的我们常用的txt,但是还没有excel,查了几天资料,脑子一片空白,还有就是将excel转换成txt,50多M的数据,...

Haiberner
2017/12/22
109
0
Hive 常用的 SQL 命令行操作 -- delete

创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW......

xrzs
2012/08/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

【面试题】盲人坐飞机

有100位乘客乘坐飞机,其中有一位是盲人,每位乘客都按自己的座位号就坐。由于盲人看不见自己的座位号,所以他可能会坐错位置,而自己的座位被占的乘客会随便找个座位就坐。问所有乘客都坐对...

garkey
今天
0
0
谈谈神秘的ES6——(二)ES6的变量

谈谈神秘的ES6——(二)ES6的变量 我们在《零基础入门JavaScript》的时候就说过,在ES5里,变量是有弊端的,我们先来回顾一下。 首先,在ES5中,我们所有的变量都是通过关键字var来定义的。...

JandenMa
今天
1
0
arts-week1

Algorithm 594. Longest Harmonious Subsequence - LeetCode 274. H-Index - LeetCode 219. Contains Duplicate II - LeetCode 217. Contains Duplicate - LeetCode 438. Find All Anagrams ......

yysue
今天
0
0
NNS拍卖合约

前言 关于NNS的介绍,这里就不多做描述,相关的信息可以查看NNS的白皮书http://doc.neons.name/zh_CN/latest/nns_background.html。 首先nns中使用的竞价货币是sgas,关于sgas介绍可以戳htt...

红烧飞鱼
今天
1
0
Java IO类库之管道流PipeInputStream与PipeOutputStream

一、java管道流介绍 在java多线程通信中管道通信是一种重要的通信方式,在java中我们通过配套使用管道输出流PipedOutputStream和管道输入流PipedInputStream完成线程间通信。多线程管道通信的...

老韭菜
今天
0
0
用Python绘制红楼梦词云图,竟然发现了这个!

Python在数据分析中越来越受欢迎,已经达到了统计学家对R的喜爱程度,Python的拥护者们当然不会落后于R,开发了一个个好玩的数据分析工具,下面我们来看看如何使用Python,来读红楼梦,绘制小...

猫咪编程
今天
1
0
Java中 发出请求获取别人的数据(阿里云 查询IP归属地)

1.效果 调用阿里云的接口 去定位IP地址 2. 代码 /** * 1. Java中远程调用方法 * http://localhost:8080/mavenssm20180519/invokingUrl.action * @Title: invokingUrl * @Description: * @ret......

Lucky_Me
今天
1
0
protobuf学习笔记

相关文档 Protocol buffers(protobuf)入门简介及性能分析 Protobuf学习 - 入门

OSC_fly
昨天
0
0
Mybaties入门介绍

Mybaties和Hibernate是我们在Java开发中应用的比较多的两个ORM框架。当然,目前Mybaties正在慢慢取代Hibernate,这是因为相比较Hibernate而言Mybaties性能更好,响应更快,更加灵活。我们在开...

王子城
昨天
2
0
编程学习笔记之python深入之装饰器案例及说明文档[图]

编程学习笔记之python深入之装饰器案例及说明文档[图] 装饰器即在不对一个函数体进行任何修改,以及不改变整体的原本意思的情况下,增加函数功能的新函数,因为这个新函数对旧函数进行了装饰...

原创小博客
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部