文档章节

双11流量洪峰 支撑阿里核心业务的云数据库揭秘

阿里云云栖社区
 阿里云云栖社区
发布于 2018/11/23 14:42
字数 949
阅读 18
收藏 0

背景介绍

今年双十一又有新纪录刷新,21秒成交额超10亿,数据瞬间膨胀到PB级,包裹数亿级,严苛的指标对数据库产品提出了更严格的需求。HybridDB作为阿里云自研的HTAP数据库经受住了流量洪峰的考验,顺利的完成了2019年双十一的保障工作。

HybridDB在阿里集团内广泛应用。比如为几十万商家提供数据驱动的店铺智能服务,也为几千小二提供了高效的数据化服务产品,大大提高生产效率。同时盒马实时交易大盘使用HybridDB实现盒马全链路的数据实时闭环,支撑1000多张表的复杂查询,平均查询延迟1秒以内,大大提高了新零售的数据化能力。菜鸟仓储实时在线数仓,基于HybridDB for MySQL构建了容纳核心的订单、包裹、库存及时效等全链路数据,目前已经成长为菜鸟仓储业务的数据化产品基石。HybridDB承接ECS、RDS、CDN、SLB等阿里云核心业务提供实时监控数据的存储、计算服务,支撑了四大件产品双十一实时监控大屏,为阿里云双十一保驾护航。

目前HybridDB for MySQL支持高性能事务存储规格和高性能分析计算规格,融合了在线OLTP和实时OLAP业务,实现了HTAP能力的统一。以视频云相关场景为例,简要介绍,在高吞吐中心场景中的应用,实际业务场景会比本文复杂。

阿里云视频云业务

阿里云视频云典型场景如下:

78f812f37e386a9f3d604a9b8276b82b27b8750e

视频用户的在线类业务,如作业提交、转码工作流控制、推流索引等,直接坐落在HybridDB for MySQL上,实时事务tps高达5万,历史作业数据可保存5年以上;

视频云技术架构的在线实时分析和离线分析类业务,如监控数据采集与实时分析、资源调度、监控告警灯,也采用HybridDB for MySQL解决存储计算问题,实时写入tps高达200万,数据实时可见并支持包括oracle开窗函数等在内的OLAP分析SQL

视频云业务的核心基于CDN技术,CDN是多地分发的内容缓存服务,其本身的性能和稳定性需要强大的监控调度能力来保障,HybridDB存储了CDN集群运转的实时负载状态,以及基于负载状态产生的各类分析结果以供集群的服务状态修正。一般数据库无法承载海量监控数据的存储和计算,大数据生态无法做到实时数据写入实时可见。CDN监控调度借助HybridDB for MySQL每秒百万行数据写入、PB级数据存储、毫秒级在线分析能力,解决十万级服务器的实时监控预警-调度反馈闭环处理问题,保障了阿里云CDN天量数据流量的安全运转。

其他场景持续更新中,敬请期待....

作者: 问璞
原文链接
本文为云栖社区原创内容,未经允许不得转载。

© 著作权归作者所有

共有 人打赏支持
阿里云云栖社区
粉丝 107
博文 1024
码字总数 2257456
作品 0
朝阳
私信 提问
揭秘天猫双11背后:国内首次IPv6大规模商用实践

2018天猫双11以2135亿的成交额创下了新的记录,新纪录的背后大家可能没有意识到,你可能已经悄然成为首批互联网IPv6用户。今年天猫双11期间全面支持IPv6,这是IPv6在国内互联网领域首次大规模...

阿里云头条
2018/11/16
0
0
【干货合集】技无止境——2017双11核心技术大揭秘

一、视频分享 1、双11万亿流量下的分布式缓存Tair技术揭秘 视频主要从Tair发展和应用开始谈起,接着谈及双11面临的挑战,重点分享了性能优化方面的实践,最后对缓存难题给出了解决方案。 点击...

阿里云云栖社区
2018/01/03
0
0
双十一流量洪峰 支撑阿里核心业务的云数据库揭秘

背景介绍 今年双十一又有新纪录刷新,21秒成交额超10亿,数据瞬间膨胀到PB级,包裹数亿级,严苛的指标对数据库产品提出了更严格的需求。HybridDB作为阿里云自研的HTAP数据库经受住了流量洪峰...

迷你芊宝宝
2018/11/23
0
0
揭秘阿里云EB级大数据计算引擎MaxCompute

日前,全球权威咨询与服务机构Forrester发布了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》报告。这是Forrester Wave首次发布关于云数仓解决方案(Cloud Data Warehouse,简称C...

阿里云云栖社区
2018/12/06
0
0
阿里视频云曾福华:世界杯百T级CDN智能流量调度系统的实战分享

在刚刚落幕的重庆云栖上,阿里云高级技术专家曾福华为现场观众带来议题《百T级CDN智能流量调度系统的实战分享》,重点介绍了在世界杯直播业务场景之下,阿里云CDN的产品架构、技术方案与客户...

Mr_zebra
2018/09/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

JDK 12又来了,我学不动了...

写在前面 看到 JDK 12又发布了,萌新不知不觉感觉瑟瑟发抖,从 Java 1.8的函数式编程思维和范式 到 Java 1.9的模块化特性的加持 以及还没来得及深切感受一下 Java 1.11 的 ZGC强大之后,这次...

CodeSheep
11分钟前
0
0
解决在gradle构建project时,发生peer not authenticated错误的方法

问题: FAILURE: Build failed with an exception.* What went wrong:Could not resolve all dependencies for configuration ':wl01-service:compile'.> Could not resolve com.ali......

Benz001
21分钟前
1
0
Apache Ignite上的TensorFlow

任何深度学习都是从数据开始的,这是关键点。没有数据,就无法训练模型,也无法评估模型质量,更无法做出预测,因此,数据源非常重要。在做研究、构建新的神经网络架构、以及做实验时,会习惯...

李玉珏
46分钟前
6
0
Java记录日志附带请求标识

起因 系统是web接口服务,排查故障的时候经常需要记录某次请求调用链路日志。这样我们拉日志的时候只要匹配这个traceid就行了 第一版解决方案 原来我们一直用了个很low的办法,在请求开始的时...

Tree
50分钟前
2
0
使用split_size优化的ODPS SQL的场景

使用split_size优化的ODPS SQL的场景 首先有两个大背景需要说明如下: 说明1:split_size,设定一个map的最大数据输入量,单位M,默认256M。用户可以通过控制这个变量,从而达到对map端输入的...

阿里云官方博客
55分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部