写博客

Hive collect_set函数

原创

JackieYeah

Hive

2016/05/22 20:22

阅读数 2.4W

本文被收录于专区

AI & 大数据

进入专区参与更多专题讨论

背景

工作中遇到这样一个需求, 就是需要查出品牌对应的所有分类, 目前品牌分类表大致结构如下:

av_seq	cp_seq
11111	CC0000
11111	CC1111
11111	CC2222
22222	CC3333
22222	CC4444
最终想要的结果是：

| 11111 | CC0000, CC1111, CC2222

| 22222 | CC3333, CC4444

collect_set函数

collect_set 是 Hive 内置的一个聚合函数, 它返回一个消除了重复元素的对象集合, 其返回值类型是 array 。

上述需求就可以使用 collect_set 函数来实现, 具体SQL如下:

select av_seq, concat_ws(',', collect_set(cp_seq)) from dw.smbrandcp group by av_seq;

参考文档

[Hive内置聚合函数](https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-Built-inAggregateFunctions(UDAF)

展开阅读全文

hive collect_set

打赏

2 赞

1 收藏

加载中

更多评论

其他人还在看

更多精彩内容

mysql rename database

rename database hive to hive_cdh_1_1. #!/bin/bash #先判断新数据库是否存在，要是不存在就创建。 #列出老数据库下都有那些表,其中N和s参数起到的作用是格式化，有点类似于Oracle下sqlplus里的pagesize #用for循环来rename。 echo 1 mysql -h 127.0.0.1 -uroot -proot -e 'create database if not exists hive_c...

什么是重做日志？

恢复操作的最关键结构是重做日志，它由两个或多个预先分配的文件组成，这些文件存储数据库发生的所有更改。 Oracle数据库的每个实例都有一个关联的重做日志，用于在发生实例故障时保护数据库。重做的线程在多个数据库实例的环境中讲话时，每个数据库实例的重做日志也称为重做线程。在典型的配置中，只有一个数据库实例...

HIVE User Guide 总结之一<HIVE结构>

一、HIVE结构 1.1 架构 HIVE的结构分为以下几部分：用户接口：包括 CLI, Client, WUI 元数据存储。通常是存储在关系数据库如 mysql, derby 中解释器、编译器、优化器、执行器 Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是 CLI，Cli 启动的时候，会同时...

python 调用shell hive sql

def generate_csv_source(data_file): #判断文件是否存在 if not os.path.exists(data_file): # 拉取hive表数据 cmd_sql = 'hive -e "set hive.cli.print.header=true; \ select * from dw.full_d_usr_channel_sum_v3 where ds<>\'\' \ and type in (\'super\',\'9k9\',\'taobao\',\'sc\',\'zy\',\'ad\',\'licai\') \ " ...

hive查询hdfs数据时，遇到的两个hadoop配置问题

今天在用hive查询hdfs数据时，一条简单的语句select * from logs where time = '2014-10-16';导致hive报错，信息如下 Error: java.io.IOException: java.io.IOException: java.io.IOException: Filesystem closed at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderN...