文档章节

hive 流量过程表

s
 sunhongxi
发布于 2014/10/23 18:08
字数 355
阅读 11
收藏 0


时间 平台 cate1 cate2 cate3 cate4 cate5 lastcateId  area1 area2 area3  lastareaId   pagetype chlName source1  source2   

指标:

 `pv` int(11) DEFAULT NULL COMMENT 'pv',

 `uv` int(11) DEFAULT NULL COMMENT 'uv',

 `newuv` int(11) DEFAULT NULL COMMENT '新访客数',

 `visit` int(11) DEFAULT NULL COMMENT '访问数',

 `newvisit` int(11) DEFAULT NULL COMMENT '新访问数',

 `avgpage` float DEFAULT NULL COMMENT '平均浏览页码',

 `avgtime` float DEFAULT NULL COMMENT '平均停留时间',

 `jumpin` int(11) DEFAULT NULL COMMENT '跳入数',

 `jumpout` int(11) DEFAULT NULL COMMENT '跳出数',

 `outrate` float DEFAULT NULL COMMENT '跳出率'


create EXTERNAL table IF NOT EXISTS ext_pctrack_is (

  cate1 string COMMENT '4', 

  cate2 string COMMENT '29', 

  cate3 string COMMENT '14052', 

  cate4 string COMMENT '14052', 

  cate5 string COMMENT '14052', 

  lastcateId string COMMENT '14052', 

  area1 string COMMENT '102', 

  area2 string COMMENT '-', 

  area3 string COMMENT '-',

  lastareaId string COMMENT '14052', 

  pagetype string COMMENT '14052', 

  chlName string COMMENT '14052', 

  source string COMMENT '14052', 

  pv bigint, 

  uv bigint, 

  newuv bigint, 

  visit bigint, 

  newvisit bigint, 

  avgpage DOUBLE,

  avgtime DOUBLE,

  jumpin bigint, 

  jumpout bigint, 

  outrate DOUBLE

)

PARTITIONED BY (statDate STRING)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t'

COLLECTION ITEMS TERMINATED BY '\002'

MAP KEYS TERMINATED BY '\003'

LINES TERMINATED BY '\n'

STORED AS TEXTFILE

LOCATION '/dsap/middata/shx/IntegrativeStatisticsPC'

;



ALTER TABLE ext_pctrack_is ADD PARTITION (statDate='20140922') LOCATION '/dsap/middata/shx/IntegrativeStatisticsPC/20140922';


set hive.cli.print.header=true;

select * from ext_pctrack_is where statdate='20140922' limit 10;


ALTER TABLE ext_pctrack_is ADD PARTITION (statDate='20141010') LOCATION '/shx/IntegrativeStatisticsPC/20141010';



--查询

select *  from ext_pctrack_is 

where 

statdate='20141022' and

cate1='A' and 

cate2='A' and 

cate3='A' and 

cate4='A' and 

cate5='A' and 

area1='北京' and 

area2='A' and 

area3='A' and 

pagetype ='A' and 

chlname = 'A' and 

source1='A' and 

source2='A';



--查询二级来源

hadoop fs -cat /shx/IntegrativeStatisticsPC/20141021/par* |awk -F "\t" '{if($24!=""&&$13="广告系列"&&$14!="其他"&&$14!="A") print $0 ; }' |more 


hadoop fs -cat /dsap/middata/shx/IntegrativeStatisticsPC/20141021/par* |awk -F "\t" '{print $13"\t" $14}' |more 


© 著作权归作者所有

上一篇: rsync 核心算法
下一篇: hive udf 自定义
s
粉丝 2
博文 7
码字总数 3845
作品 0
朝阳
程序员
私信 提问
Hive JDBC开发步骤

第一部分:搭建Hive JDBC开发环境 搭建:Steps •新建工程hiveTest •导入Hive依赖的包 •Hive 命令行启动Thrift服务 •hive --service hiveserver & 第二部分:基本操作对象的介绍 Connecti...

linni
2014/01/09
2.4K
0
hive实例,GPRS流量统计

最近面试,发现很多公司在使用hive对数据进行处理。 hive是hadoop家族成员,是一种解析like sql语句的框架。它封装了常用MapReduce任务,让你像执行sql一样操作存储在HDFS的表。 hive的表分为...

毛祥溢
2013/08/15
588
0
hive安装过程全程解析、hive常规操作、说明

hive安装过程全程解析、hive常规操作、说明 hive相关说明: 1.创建表的操作(create talbe)包含两个步骤:表创建过程和数据加载步骤(这两个过程可以在同一语句中完成) 在数据加载过程中,...

weixin_32265569
2017/06/29
0
0
学习Hadoop资料分享

最近一直在学习Hadoop,没办法,工作需要,最近在网上收集资料时,看到了一个课程,叫Cloudera Hadoop 4系列实战课程(电商业日志流量分析项目),把课程内容的大概给大家看一下,有40课时,看...

adiykk
2013/06/19
968
5
Hive 随谈(二)– Hive 结构

主要分为以下几个部分: 用户接口,包括 CLI,Client,WUI。 元数据存储,通常是存储在关系数据库如 mysql, derby 中。 解释器、编译器、优化器、执行器。 Hadoop:用 HDFS 进行存储,利用 ...

红薯
2010/04/12
3K
1

没有更多内容

加载失败,请刷新页面

加载更多

应急广播户户通平台

一、平台概述 应急广播户户通平台为软硬一体化广播服务解决方案。实现了应急广播、视音频及图片文字信息、调频及数字广播FM、天气预报信息接收功能,以及视音频播放、智能机器人、电子日历等...

neocean
25分钟前
39
0
如何为Apache 2.2启用mod_rewrite

我已经在我的Vista机器上安装了新的Apache 2.2,一切正常,除了mod重写。 我没有注释 LoadModule rewrite_module modules/mod_rewrite.s 但是我的重写规则都没有,即使是简单的重写规则 Re...

javail
31分钟前
23
0
移除Python unicode字符串中的重音符号的最佳方法是什么?

我在Python中有一个Unicode字符串,我想删除所有的重音符号(变音符号)。 我在网上发现了一种用Java实现此目的的优雅方法: 将Unicode字符串转换为长规范化格式(带有单独的字母和变音符号)...

技术盛宴
46分钟前
48
0
ActiveMQ学习之SpringBoot整合ActiveMQ------>主题生产者和消费者

一、pom <!--聚合工程集成关系--> <!--统一整合第三方框架依赖信息--> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</a......

冥焱
今天
75
0
两周自制脚本语言-第11天 优化变量读写性能

第11天 优化变量读写性能 以变量值的读写为例,向读者介绍基于这种理念的语言处理器性能优化方式。 11.1 通过简单数组来实现环境 假如函数包含局部变量x与y,程序可以事先将x设为数组的第0个...

果汁分你一半
今天
52
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部