文档章节

MaxCompute计算长尾问题

_夜枫
 _夜枫
发布于 2017/04/04 20:40
字数 2462
阅读 14
收藏 0

长尾问题是分布式计算里最常见的问题之一,也是典型的疑难杂症。究其原因,是因为数据分布不均,导致各个节点的工作量不同,整个任务就需要等最慢的节点完成才能完成。处理这类问题的思路就是把工作分给多个Worker去执行,而不是一个Worker单独抗下最重的那份工作。本文希望就平时工作中遇到的一些典型的长尾问题的场景及其解法做一些分享。

Join

Join能出现长尾,是因为Join时出现某个Key里的数据特别多的情况。不讨论两张表都是小表的情况。如果两张表里有一张大一张小,可以考虑使用Mapjoin,对小表进行缓存。具体语法和说明可以参考这里。如果是MapReduce作业,可以使用资源表的功能,对小表进行缓存。

但是如果两张表都比较大,就需要先尽量去重。实在不行的话,就需要从业务上考虑,为什么会有这样的两个大数据量的Key要做笛卡尔积,能否从业务上进行优化。

Group By

Group By Key 出现长尾的原因是因为某个Key内的计算量特别大。

对SQL进行改写,添加随机数,把长Key进行拆分是解决Group By长尾的一种比较好的方法,具体的原理也比较容易懂。对于一个SQL:

Select    Key,Count(*)  As  Cnt  From  TableName  Group  By  Key;

不考虑Combiner,M节点会Shuffle到R上,然后R再做Count操作。对应的执行计划是M->R

但是如果对长尾的Key再做一次工作再分配,就变成:

-- 假设长尾的Key已经找到是KEY001
SELECT a.Key
    , SUM(a.Cnt) AS Cnt
FROM (
    SELECT Key
        , COUNT(*) AS Cnt
    FROM TableName
    GROUP BY Key, 
        CASE 
            WHEN Key = 'KEY001' THEN Hash(Random()) % 50
            ELSE 0
        END
) a
GROUP BY a.Key;

可以看到,这次的执行计划变成了M->R->R。虽然执行的步骤变长了,但是长尾的Key经过了2个步骤的处理,整体的时间消耗可能反而有所减少。不过大家也可以很容易看出来,如果数据的长尾并不严重,用这种方法人为地增加一次R的过程,最终的时间消耗可能反而更大。

对于这种优化方法,有一个通用的实现方法,就是使用系统参数,设置

    set    odps.sql.groupby.skewindata=true。

但是通用性的优化策略无法针对具体的业务进行分析,得出的结果不总是最优的。开发人员也可以根据实际的数据情况,用更加高效的方法来改写SQL。

Distinct

可以看到,对于Distinct,上面的策略已经不生效了。对这种场景,我们可以考虑:

--原始SQL,不考虑Uid为空
SELECT COUNT(uid) AS Pv
    , COUNT(DISTINCT uid) AS Uv
FROM UserLog;

可以改写成

SELECT SUM(PV) AS Pv
    , COUNT(*) AS UV FROM ( SELECT COUNT(*) AS Pv
        , uid
    FROM UserLog
    GROUP BY uid
) a;

可以看到,我们把Distinct改成了普通的Count,这样的计算压力不会落到同一个Reducer上。而且这样改写后,既能支持前面提到的Group By优化,系统又能做Combiner,性能会有较大的提升。

动态分区

动态分区功能为了整理小文件,会在最后起一个Reduce,对数据进行整理。所以如果使用动态分区写入数据时有倾斜的话,就会发生长尾。

另外就平时经验来看,滥用动态分区的功能也是产生这类长尾的一个常见原因。如果写入的数据已经确定需要把数据写入某个具体分区,那可以在Insert的时候指定需要写入的分区,而不是使用动态分区。

Combiner

对于MapRedcuce作业,使用Combiner是一种常见的长尾优化策略。在WordCount的例子里,就已经有提到这种做法。通过Combiner,减少Maper Shuffle往Reducer的数据,可以大大减少网络传输的开销。对于MaxCompute SQL,这种优化会由系统自动完成。

需要注意的是,Combiner只是Map端的优化,需要保证是否执行Combiner的结果是一样的。以WordCount为例,传2个(KEY,1)和传1个(KEY,2)的结果是一样的。但是比如在做平均值的时候,就不能在Combiner里就把(KEY,1)和(KEY,2)合并成(KEY,1.5)。

系统优化

其实针对长尾这种场景,除了前面提到的Local Combiner,MaxCompute系统本身还做了一些优化。比如在跑任务的时候,日志里突然打出这样的内容(+N backups部分):

M1_Stg1_job0:0/521/521[100%]    M2_Stg1_job0:0/1/1[100%]    J9_1_2_Stg5_job0:0/523/523[100%]    J3_1_2_Stg1_job0:0/523/523[100%]    R6_3_9_Stg2_job0:1/1046/1047[100%]  
M1_Stg1_job0:0/521/521[100%]    M2_Stg1_job0:0/1/1[100%]    J9_1_2_Stg5_job0:0/523/523[100%]    J3_1_2_Stg1_job0:0/523/523[100%]    R6_3_9_Stg2_job0:1/1046/1047[100%]  
M1_Stg1_job0:0/521/521[100%]    M2_Stg1_job0:0/1/1[100%]    J9_1_2_Stg5_job0:0/523/523[100%]    J3_1_2_Stg1_job0:0/523/523[100%]    R6_3_9_Stg2_job0:1/1046/1047(+1 backups)[100%]   
M1_Stg1_job0:0/521/521[100%]    M2_Stg1_job0:0/1/1[100%]    J9_1_2_Stg5_job0:0/523/523[100%]    J3_1_2_Stg1_job0:0/523/523[100%]    R6_3_9_Stg2_job0:1/1046/1047(+1 backups)[100%]   

可以看到1047个Reducer,有1046个已经完成了,但是最后一个一直没完成。系统识别出这种情况后,自动启动了一个新的Reducer,跑一样的数据,然后看两个哪个快,取快的数据归并到最后的结果集里。

业务优化

虽然前面的优化策略有很多,但是实际上还是有限。有时候碰到长尾问题,还需要从业务角度上想想是否有更好的解决方法,比如:

  • 实际数据可能包含非常多的噪音,比如如果想根据访问者的ID进行计算,看看每个用户的访问记录的行为,那就需要先去掉爬虫的数据(不过现在的爬虫也越来越难识别了)。否则爬虫数据很容易长尾计算的长尾。类似的情况还包含根据xxid进行关联的时候,需要考虑这个关联字段是否存在为空的情况。
  • 因为业务的情况,总会有一些特殊情况,比如ISV的操作记录,在数据量、行为方式上都会和普通的个人会有很大的区别。那么可以考虑针对大客户,使用特殊的分析方式进行单独处理。
  • 数据分布不均匀的情况下,不要使用常量字段做Distribute by字段来实现全排序。

优化实战

前面洋洋洒洒说了一堆的理论,这里咱们就动手做个调优。数据来源天池的移动推荐算法线下赛,已经过脱敏。因为线下赛供的数据提比较少,所以我对数据做了一些冗余加权以便让长尾更加明显。
我首先想看看数据的分布,跑了个SQL

SELECT user_id
    , COUNT(*) AS cnt
    , COUNT(DISTINCT item_id) AS item_cnt
FROM tianchi_fresh_comp_train_user_lt a1
GROUP BY user_id
ORDER BY item_cnt DESC
LIMIT 100;

结果因为前面提到的造数据的时候长尾数据多复制了一些,长尾严重地把backup的优化策略都给跑出来了
screenshot

screenshot

我们这时候不能直接拿到这个数据就直接想技术上怎么优化,作为数据分析师,需要先了解数据,看下这个key是什么。虽然Count(*)多的Count(Distinct item_id)不一定多,但是一般来说Count(*)和其他人明显不一样的数据总是有问题的,可以从这里入手。于是跑了个

SELECT user_id
    , COUNT(*) AS cnt
FROM tianchi_fresh_comp_train_user_lt
GROUP BY user_id
ORDER BY cnt DESC
LIMIT 100;

很快跑好了,结果如下(这个长尾造的有点多)。不过如果怕Count(*)和Count(Distinct item_id)的Key不同,可以参考本文最后的SQL

screenshot
正想看看是不是就是这个Key(15330397)的问题,前面的那个长尾也跑好了(跑了25:13),一看,还真是
screenshot
这么明显的数据肯定是异常数据了,回头到底是爬虫还是什么特殊情况再单独研究,这里根据之前的策略,有2种方法:

直接对异常数据做单独处理,这里不计算异常数据:

SELECT user_id
    , COUNT(*) AS cnt
    , COUNT(DISTINCT item_id) AS item_cnt
FROM tianchi_fresh_comp_train_user_lt a1
WHERE user_id <> '15330397'
GROUP BY user_id
ORDER BY item_cnt DESC
LIMIT 100;

这个SQL很快,一分钟就得出结果。根据这个结果做个可视化,就能够很清楚看到天猫移动端用户的购买情况了。但是有个缺点就是我们这里的长尾比较少,就造了一条。但是实际上,可能会有很多爬虫在爬数据,那就没办法在SQL里写死这些过滤的USER_ID。我们可以考虑先取到这些长尾的数据后做mapjoin过滤异常数据,具体的实现这里就不做了。

另外我们再试试前面提到的MRR的方法以进行SQL改写:

SELECT user_id
    , SUM(cnt) AS cnt
    , COUNT(*) AS item_cnt FROM ( SELECT user_id , item_id , COUNT(*) AS cnt
    FROM tianchi_fresh_comp_train_user_lt a1
    GROUP BY user_id, 
        item_id
) sub
GROUP BY user_id
ORDER BY item_cnt DESC
LIMIT 100;

这个SQL一共花了(3:25)。
通过这两种方法的实验,我们更好地了解到数据里的信息,同时更快地得出结果。

本文使用的产品涉及大数据计算服务(MaxCompute),地址为https://www.aliyun.com/product/odps
配合大数据开发套件 https://data.aliyun.com/product/ide 完成的。

本文转载自:https://yq.aliyun.com/articles/67086

_夜枫
粉丝 10
博文 506
码字总数 0
作品 0
朝阳
后端工程师
私信 提问
带你玩转Logview: MaxCompute Logview参数详解和问题排查

摘要:Logview是MaxCompute Job提交后查看和Debug任务的工具。通过Logview可看到一个Job的运行状态、运行结果以及运行细节和每个步骤的进度。当Job提交到MaxCompute后,会生成Logview的链接,...

阿里云云栖社区
2018/09/07
0
0
一探究竟:善用 MaxCompute Studio 分析 SQL 作业

摘要: 头疼的问题 MaxCompute 用户一个常见的问题是:同一个周期任务,为什么最近几天比之前慢了很多?或者为什么之前都能按时产出的作业最近经常破线? 通常来说,引起作业执行变慢的原因有...

阿里云云栖社区
2018/05/25
19
0
最好用的工兵铲—MaxCompute Studio,来了解下!

摘要: 在大数据计算北京高端峰会上,阿里云计算平台高级专家薛明深入介绍了阿里巴巴大数据计算平台开发利器—MaxCompute Studio。一站式的 IDE,可以快速完成数据浏览和管理、进行基于 SQL ...

猫耳m
2018/06/25
59
0
阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171127)

概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方...

隐林
2017/05/05
0
0
MaxCompute读取分析OSS非结构化数据的实践经验总结

摘要: 本文背景 很多行业的信息系统中,例如金融行业的信息系统,相当多的数据交互工作是通过传统的文本文件进行交互的。此外,很多系统的业务日志和系统日志由于各种原因并没有进入ELK之类...

猫耳m
2018/06/20
24
0

没有更多内容

加载失败,请刷新页面

加载更多

64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
今天
13
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
今天
7
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
今天
12
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
今天
12
0
实验分析性专业硕士提纲撰写要点

为什么您需要研究论文的提纲? 首先当您进行研究时,您需要聚集许多信息和想法,研究论文提纲可以较好地组织你的想法, 了解您研究资料的流畅度和程度。确保你写作时不会错过任何重要资料以此...

论文辅导员
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部