文档章节

单表千亿电信大数据场景,使用Spark+CarbonData替换Impala案例

l
 luffy_ws
发布于 11/20 09:42
字数 2817
阅读 5970
收藏 160

【背景介绍】

国内某移动局点使用Impala组件处理电信业务详单,每天处理约100TB左右详单,详单表记录每天大于百亿级别,在使用impala过程中存在以下问题:

  1. 详单采用Parquet格式存储,数据表使用时间+MSISDN号码做分区,使用Impala查询,利用不上分区的查询场景,则查询性能比较差。
  2. 在使用Impala过程中,遇到很多性能问题(比如catalog元数据膨胀导致元数据同步慢等),并发查询性能差等。
  3. Impala属于MPP架构,只能做到百节点级,一般并发查询个数达到20左右时,整个系统的吞吐已经达到满负荷状态,在扩容节点也提升不了吞吐量。
  4. 资源不能通过YARN统一资源管理调度,所以Hadoop集群无法实现Impala、Spark、Hive等组件的动态资源共享。给第三方开放详单查询能力也无法做到资源隔离。

【解决方案】

针对上面的一系列问题,移动局点客户要求我们给出相应的解决方案,我们大数据团队针对上面的问题进行分析,并且做技术选型,在这个过程中,我们以这个移动局点的几个典型业务场景作为输入,分别对Spark+CarbonData、Impala2.6、HAWQ、Greenplum、SybaseIQ进行原型验证,性能调优,针对我们的业务场景优化CarbonData的数据加载性能,查询性能并贡献给CarbonData开源社区,最终我们选择了Spark+CarbonData的方案,这个也是典型的SQL On Hadoop的方案,也间接印证了传统数据仓库往SQL on Hadoop上迁移的趋势。参考社区官网资料,结合我们验证测试和理解:CarbonData是大数据Hadoop生态高性能数据存储方案,尤其在数据量较大的情况下加速明显,与Spark进行了深度集成,兼容了Spark生态所有功能(SQL,ML,DataFrame等),Spark+CarbonData适合一份数据满足多种业务场景的需求,它包含如下能力:

  1. 存储:行、列式文件存储,列存储类似于Parquet、ORC,行存储类似Avro。支持针对话单、日志、流水等数据的多种索引结构。
  2. 计算:与Spark计算引擎深度集成和优化;支持与Presto, Flink, Hive等引擎对接;
  3. 接口:
    1. API:兼容DataFrame, MLlib, Pyspark等原生API接口;
    2. SQL:兼容Spark语法基础,同时支持CarbonSQL语法扩展(更新删除,索引,预汇聚表等)。
  4. 数据管理:
    1. 支持增量数据入库,数据批次管理(老化管理)
    2. 支持数据更新,删除
    3. 支持与Kafka对接,准实时入库

       详细的关键技术介绍以及使用,请上官网阅读查看文档https://carbondata.apache.org/  

【技术选型介绍】

这里补充介绍下为什么选取SQL on Hadoop技术作为最终的解决方案。

接触过大数据的人都知道,大数据有个5V特征,从传统互联网数据到移动互联网数据,再到现在很热门的IoT,实际上随着每一次业界的进步,数据量而言都会出现两到三个数量级的增长。而且现在的数据增长呈现出的是一个加速增长的趋势,所以现在提出了一个包括移动互联网以及物联网在内的互联网大数据的5大特征:Volume、 Velocity、Variety、Value、Veracity。随着数据量的增长传统的数据仓库遇到的挑战越来越多。

传统数据仓库面临的挑战:

同时数据体系也在不断的进化

• 存储方式的进化:离线、近线 -> 全部在线

• 存储架构的进化:集中式存储 -> 分布式存储

• 存储模型的进化:固定结构 -> 灵活结构.

数据处理模式的进化

• 固定模型固定算法 -> 灵活模型灵活算法

数据处理类型的进化

• 结构化集中单源计算 -> 多结构化分布式多源计算

数据处理架构的进化

• 数据库静态处理 -> 数据实时/流式/海量处理

针对上述的变化数据库之父Kimball提出了一个观点:

   Kimball的核心观点:

  hadoop改变了传统数仓库的数据处理机制,传统数据库的一个处理单元在hadoop中解耦成三层:

• 存储层:HDFS

• 元数据层:Hcatalog

• 查询层:Hive、Impala、Spark SQL

Schema on Read给了用户更多的选择:

• 数据以原始格式导入存储层

• 通过元数据层来管理目标数据结构

• 由查询层来决定什么时候提取数据

• 用户在长期探索和熟悉数据之后,可以采取Schema on Write模式固化中间表,提高查询性能

序号

基于RDBMS的数据处理模式

基于hadoop的数据处理模式

1

强一致性

最终一致性,处理效率高于数据精确度

2

数据必须进行转换,否则后续流程无法继续

数据可以不做转换,长期以原始格式存储

3

数据必须进行清洗、范式化

数据不建议进行清洗和范式化

4

数据基本上都保存在物理表中,文件方式访问效率低

数据大部分保存在文件中,物理表等同于结构化文件

5

元数据局限为字典表

元数据扩展为HCatalog服务

6

数据处理引擎只有SQL一种

开放式的数据处理引擎:SQL、NOSQL、Java API

7

数据加工过程完全由IT人员掌控

数据工程师、数据科学家、数据分析人员都可以参与数据加工

SQL on Hadoop数据仓库技术

数据处理和分析

     • SQL on hadoop

     • Kudu+Impala、Spark、HAWQ、Presto、Hive等

• 数据建模和存储

           • Schema on Read

           • Avro & ORC & Parquet & CarbonData

• 流处理

           • Flume+Kafka+Spark Streaming

SQL-on-Hadoop技术的发展和成熟推动变革

经过上述的技术分析,最终我们选择了SQL on Hadoop的技术作为我们平台未来的数据仓库演进方向,这里肯定有人问了,为什么不选取MPPDB这种技术呢,这里我们同样把SQL on Hadoop与MPPDB进行过对比分析(注Impala其实也是一种类似MPPDB的技术):

对比项

SQL on Hadoop

MPPDB

容错性

支持细粒度容错,细粒度容错是指某个task失败会自动重试,不用重新提交整个查询

粗粒度容错,不能处理落后节点 (Straggler node)。粗粒度容错是指某个task执行失败将导致整个查询失败,然后系统重新提交整个查询来获取结果

扩展性

集群节点数量可以扩展到几百甚至上千个

很难扩展到100个节点以上,一般在50个节点左右(比如之前我们使用Greenplum验证超过32台机器性能出现下降)

并发性

随着集群规模可用资源增加,并发数近线性增长

MPPDB针对查询会最大化利用资源,以提升查询性能,因此支撑的并发数较低,一般并发查询个数达到 20 左右时,整个系统的吞吐已经达到满负荷状态

查询时延

1、数据规模小于1PB,单表10亿记录级别,单个查询时延通常在10s左右

2、数据规模大于1PB,可通过增加集群资源,保证查询性能

1、数据规模小于1PB,单表10亿记录级别,单个查询MPP时延通常在秒计甚至毫秒级以内就可以返回查询结果

2、数据规模大于1PB,受架构限制,查询性能可能会出现急剧下降

数据共享

存储与计算分离,通用的存储格式可以支撑不同的数据分析引擎,包括数据挖掘等

独有的MPPDB数据库的存储格式,无法直接供其他数据分析引擎使用

【方案实施效果】

   局点2018年9月底上线Spark+CarbonData替换Impala后运行至今,每天处理大于100TB的单据量,在业务高峰期,数据加载性能从之前impala的平均单台60MB/s到平台单台100MB/s的性能在局点典型业务场景下,查询性能在20并发查询下,Spark+CarbonData的查询性能是Impala+parquet的2倍以上

同时解决了以下问题:

  1. Hadoop集群资源共享问题,Impala资源不能通过Yarn统一资源调度管理,Spark+CarbonData能通过Yarn统一资源调度管理,实现与其他如Spark,Hive等组件的动态资源共享。
  2. Hadoop集群扩容问题,之前Impala只能使用百台机器,现在Spark+CarbonData能做到上千台节点集群规模。

实施过程中注意项:

  1. 数据加载使用CarbonData的local sort方式加载,为了避免大集群产生过多小文件的问题,加载只指定少数机器上进行数据加载,另外对于每次加载数据量比较小的表可以指定表级别的compaction来合并加载过程中产生的小文件。
  2. 根据业务的查询特点,把经常查询过滤的字段设置为数据表的sort column属性(比如电信业务经常查询的用户号码等),并且设置sort column的字段顺序先按照字段的查询频率由高到低排列,如果查询频率相差不大,则再按照字段distinct值由高到低排列,来提升查询性能。
  3. 创建数据表设置的blocksize大小,单个表的数据文件block大小可以通过TABLEPROPERTIES进行定义,单位为MB,默认值为1024MB。这个根据实际数据表的每次加载的数据量,根据我们实践经验:一般建议数据量小的表blocksize设置成256MB,数据量比较大的表blocksize设置成512MB。
  4. 查询性能的调优,还可以结合业务查询的特点,对查询高频率的字段,创建bloomfilter等datamap来提升查询性能。
  5. 还有一些Spark相关的参数设置,对于数据加载和查询,先结合SparkUI分析性能瓶颈点,在针对性的调整相关的参数,这里不一一介绍了,记住一点性能调优是个技术细活,参数调整要针对性的调整,一次调整只调相关的一个或者几个参数,在看效果,不生效就调整回去,切记千万不要一次性调整的参数过多。

© 著作权归作者所有

共有 人打赏支持
l
粉丝 8
博文 1
码字总数 2817
作品 0
日本
私信 提问
加载中

评论(3)

Sehriff
Sehriff
这场景都是查询吗,有没有数据的delete或update操作?
霡霂
霡霂

引用来自“shixiao”的评论

关于sql on hadoop,博主也列了好几种技术, Kudu+Impala、Spark 、HAWQ、Presto、Hive等,能否把 为什么最终选择 spark + CarbonData 原因分享一下?
博主,有没有比较详细的性能对比和分析。
shixiao
shixiao
关于sql on hadoop,博主也列了好几种技术, Kudu+Impala、Spark 、HAWQ、Presto、Hive等,能否把 为什么最终选择 spark + CarbonData 原因分享一下?
洞见数据价值之道 —— 腾讯大数据开放日

大数据技术的演进,让数据成为了互联网时代一种新的无形「资产」。各种大数据分析处理展示技术,使得原本那些存放在服务器上平淡无奇的陈年旧数一夜之间身价倍增。大数据处理、机器学习和数据...

msup
2016/11/19
248
2
专家汇 | 车联网这样上云,真的很酷!

传统IDC架构面临淘汰,云端部署还有哪些坑? 如何从零开始搭建“三高”车联网云上架构? 提高研发效率、降低成本又该怎么做? 我们来聊聊关于车联网的那些事儿 杨旭—— 阿里云高级解决方案架...

阿里云头条
08/22
0
0
Hadoop发行版某厂商发布TPC-DS评测结果

转自:http://www.cctime.com/html/2014-11-5/20141151514541991.htm 引言 大数据基础技术领域中Hadoop的地位已获得广泛认同,但目前国内外市场上的Hadoop版本也是林林总总,到底该参照什么标...

yntmdr
06/28
0
0
千亿特征流式学习在大规模推荐排序场景的应用

2017云栖大会机器学习平台PAI专场,阿里巴巴高级技术专家陈绪带来千亿特征流式学习在大规模推荐排序场景的应用的演讲。主要从电商个性化推荐开始谈起,进而描述了技术挑战和PAI解决方案,重点...

阿里云云栖社区
2017/12/11
0
0
Impala内存优化实战案例

一. 引言 Hadoop生态中的NoSQL数据分析三剑客Hive、HBase、Impala分别在海量批处理分析、大数据列式存储、实时交互式分析各有所长。尤其是Impala,自从加入Hadoop大家庭以来,凭借其各个特点...

Zero零_度
2016/06/08
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

iOS补位动画、沙漏效果、移动UITableViewCell、模拟贪吃蛇、拖拽进度等源码

iOS精选源码 JHAlertView - 一款黑白配色的HUD之沙漏效果 继承UIButton的自定义按钮SPButton 用递归算法实现iOS补位动画 iOS 长按移动UITableViewCell JHLikeButton - 有趣的点赞动画 兼容X...

Android爱开源
13分钟前
0
0
08.Beetl自定义方法以及直接访问java类方法---《Beetl视频课程》

本期视频实现了发布评论时间自定义显示; 内容简介:使用了自定义方法以及直接访问java方法实现了发布时间自定义显示 一起学beetl目录:https://my.oschina.net/u/1590490?tab=newest&catal...

Gavin-King
14分钟前
0
0
上币至iamToken

https://github.com/consenlabs/token-profile 点击Fork按钮,插入到自己的github项目中 cd /Users/shijun/Desktop/blockChain/iamToken git clone https://github.com/yellmi1983/token-pro......

八戒八戒八戒
17分钟前
0
0
spark——sparkCore源码解析之RangePartitioner

HashPartitioner分区可能导致每个分区中数据量的不均匀。而RangePartitioner分区则尽量保证每个分区中数据量的均匀,将一定范围内的数映射到某一个分区内。分区与分区之间数据是有序的,但分...

freeli
17分钟前
1
0
常用的ES6语法

什么是ES6?   ECMAScript 6(以下简称ES6)是JavaScript语言的下一代标准,已经在2015年6月正式发布了。Mozilla公司将在这个标准的基础上,推出JavaScript 2.0。   ECMAScript和JavaScr...

peakedness丶
21分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部