文档章节

005.hive列转行 (collect_set() 去重)

片刻
 片刻
发布于 2014/07/29 18:15
字数 189
阅读 14195
收藏 2

一、问题

hive如何将

a       b       1
a       b       2
a       b       3
c       d       4
c       d       5
c       d       6

变为:

a       b       1,2,3
c       d       4,5,6


二、数据

test.txt

a       b       1
a       b       2
a       b       3
c       d       4
c       d       5
c       d       6


三、答案

1.建表

drop table tmp_jiangzl_test;
create table tmp_jiangzl_test
(
col1 string,
col2 string,
col3 string
)
row format delimited fields terminated by '\t'
stored as textfile;


load data local inpath '/home/jiangzl/shell/test.txt' into table tmp_jiangzl_test;

2.处理

select col1,col2,concat_ws(',',collect_set(col3))
from tmp_jiangzl_test  
group by col1,col2;

四、关于我们


本文author:数据的开拓者成员之一 江中炼

QQ群:248087140 

座右铭: 

你在你擅长的领域牛逼, 

并带着一群小白变牛逼,

别人会发自内心的去尊重你的。 

--可点击加入我们



© 著作权归作者所有

片刻
粉丝 107
博文 271
码字总数 308453
作品 0
海淀
高级程序员
私信 提问
加载中

评论(4)

片刻
片刻 博主

引用来自“Anna20150709”的评论

楼主有在吗?
请问一下:
对于a b 1,2,3 中的1,2,3是否能按一定顺序排列,或是顺序或是倒序?

引用来自“片刻”的评论

是可以滴。 给你个case, 如下: select sort_array(array(3,1,2)) from tmp.tmp_jzl_20140725_test11; 1,2,3 => 1 / 2 / 3

引用来自“zdt_1988”的评论

困惑好久的排序问题 终于解决啦 谢谢~😁
问题是久了点。哈哈 解决就好
zdt_1988
zdt_1988

引用来自“Anna20150709”的评论

楼主有在吗?
请问一下:
对于a b 1,2,3 中的1,2,3是否能按一定顺序排列,或是顺序或是倒序?

引用来自“片刻”的评论

是可以滴。 给你个case, 如下: select sort_array(array(3,1,2)) from tmp.tmp_jzl_20140725_test11; 1,2,3 => 1 / 2 / 3
困惑好久的排序问题 终于解决啦 谢谢~😁
片刻
片刻 博主

引用来自“Anna20150709”的评论

楼主有在吗?
请问一下:
对于a b 1,2,3 中的1,2,3是否能按一定顺序排列,或是顺序或是倒序?
是可以滴。 给你个case, 如下: select sort_array(array(3,1,2)) from tmp.tmp_jzl_20140725_test11; 1,2,3 => 1 / 2 / 3
Anna20150709
Anna20150709
楼主有在吗?
请问一下:
对于a b 1,2,3 中的1,2,3是否能按一定顺序排列,或是顺序或是倒序?
005.hive列转行 (collect_all()/collect_list() 不去重)

collect_list() hive 0.13 collect_all() hive 0.12 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-CollectionFunctions 一、问题 hive如何将 a ......

片刻
2015/10/27
2.4K
0
大数据入门与实战-Hive 常见SQL、技巧与问题

1 常见SQL 取数据库前100条数据 -随机取100条数据 2 常见方法 宏的使用 宏可以看做是一个简短的函数,或者是对一个表达式取别名,同时可以将这个表达式中的一些值做成变量调用时传入,比较适...

致Great
2019/05/28
0
0
大数据学习笔记之项目(三):离线项目拓展youtube

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 https://blog.csdn.net/dataiyangu/article/details/97746461 文章目录 23_369" rel="nofol...

Leesin Dong
2019/07/30
0
0
MYSQL函数group_concat的使用

今天对一批数据要迁移转换,查了下,有group_concat这个函数简单实现字段的列转行设置,过程记录如下 一.测试数据准备 mysql> use test;Database changedmysql> select * from t_kenyon;+---...

kenyon_君羊
2012/08/02
6.9K
8
SpagoBI不支持动态指定指标的原因分析

第一步:使用SQL查询,某日期区间,某几个频道的接触度 select count(userid) as ooc, channelname as channelname, dt as dt from tvlogtest.tvlogtcl where dt between '2015-09-01' and ......

祥林会跟你远走高飞
2015/09/10
76
0

没有更多内容

加载失败,请刷新页面

加载更多

Raspberry Pi 树莓派 搭建java8环境

更新软件源 apt-get upgradeapt-get update 移除自带的openjdk(如果有的话) apt-get remove openjdk* 安装oracle jdk,地址: https://www.oracle.com/technetwork/java/javase/downl......

ChangeZ
30分钟前
79
0
树莓派3b 安装openwrt

https://downloads.openwrt.org/releases/19.07.0/targets/brcm2708/bcm2710/openwrt-19.07.0-brcm2708-bcm2710-rpi-3-squashfs-factory.img.gz 插入并启动树莓派3B+,顺便接上键盘和显示器,......

FalconChen
50分钟前
71
0
OSChina 周一乱弹 —— 有些运动也常用到膝盖

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《火宵の月・テーマ~ピアノソロ》- 中村由利子 手机党少年们想听歌,请使劲儿戳(...

小小编辑
今天
109
0
Redis持久化机制

RDB存储 RDB方式的持久化是通过快照完成的,当符合一定条件时Redis会自动将内存中的所有数据生成一份副本并存储在硬盘上。 Redis会在一下集中情况下对数据进行快照: 根据配置规则进行快照;...

XuePeng77
今天
81
0
float精度计算测试

package mainimport ("fmt""github.com/go-ozzo/ozzo-dbx"_ "github.com/go-sql-driver/mysql")type DecimalDemo struct {Id intAmount float64}func main() {db, _......

醉人的笑容你有没有
今天
127
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部