文档章节

如何进行大促备战---大促备战TODO

_夜枫
 _夜枫
发布于 2017/07/03 14:30
字数 1798
阅读 24
收藏 0

原文链接

 

 

背景:

在阿里经历过3年双11大促,从事云相关工作之后,发现经常会有各类云上客户面临大促护航需求,借此文总结下常规的大促备战都需要做些什么,我们需要从哪些方面入手去备战,尽量避免遗漏,做到大促平稳顺滑。

 

大促备战该从何入手,具体做些什么

 

9a8791b215321a594ad34fbaab468a381c43fd4b

1)第一阶段:业务梳理,架构整合,流量预估

 

   1.1 业务梳理

 

        在备战大促的过程中,我们首先需要对我们的整套系统所有应用进行梳理,了解哪些应用会面临大促的压力,哪些与大促无关;哪些是核心应用,需要重点保障,哪些是非核心应用,可接受降级或短时间不可用;理清这些应用之间的关联关系,有哪些上下游依赖,中间件等;

 

   1.2 架构整合

 

        一套在线系统一般都是由多个团队负责的,包含基础在线服务、离线数据、基础中间件、网络等;但是在大促备战过程中需要整理出整体的业务架构大图(可分成在线离线),包含各个应用,上下游依赖,中间件,所在的网络环境,带宽使用量,负载均衡设备,数据库,在线数据采集、订阅,离线数据处理等所有环节;只有把整个架构都搞清楚了,才能针对性的进行风险评估、容量规划、预案准备;

       如果只规划单个的容量,忽略了上下游以及其它依赖的承载能力,整个系统的任何一个环节出了问题,都会最终传导到系统入口,导致服务异常;
 

   1.3 流量预估

 

        在大促准备初始阶段,都需要根据以往的流量情况以及运营的推广力度来评估此次大促的流量峰值;然后根据峰值流量进行压测,明确当前系统的承载能力,准备好优化和扩容的方案;

        如果由于业务发展不规律,流量增长非线性,没有有效的历史数据来协助预估的话,那么也需要有一个理想承载能力的预估,以此作为容量规划的目标;

        峰值的流量来源一般需要考虑几个方向:

           1)由于秒杀、红包活动、整点峰值等导致的自然流量高峰;

           2)由于运营主动push消息导致的流量瞬时高峰;

               建议:涉及到主动push的机制,建议一般都设置推送步长,逐步推送到峰值,避免瞬时流量高峰导致的一系列类似缓存失效,类脉冲攻击流量导致连接异常等情况;

           3)由于上游传导过来的峰值流量;

2)压测&优化&扩容

 

   2.1 压测准备

 

 

       压测是整个大促备战过程中最核心重要的环节,贯穿整个备战的始末,需要通过压测才能摸清系统的承载能力,然后不断优化扩容,重复压测直到达到预估的承载能力。

       压测简单分为线下压测和在线压测:

 

        86977ca1074b17e0e5fe6ee7294c8ca26aa61f54

 

       1)线下压测

           指未接入真实流量的线下环境,保持与生产一致的机器比例,可以通过tcpcopy方式复制生产流量,只可取得链路瓶颈和单模块的压力,非主力压测方式,因为环境和生产不一样,网络环境、上下游依赖等都不一样,压测出来的结果也会有差异;

 

       2)在线压测

           在线压测是指直接使用生产系统进行压测,能保证压测结果即是最终的系统承载能力;如果系统有充分容灾能力,可以切走一个可用区或region流量,然后再直接在生产系统上进行压力测试;如果没有足够的冗余,也可以选择在夜间流量地缝时进行,将可能的影响降到最低;

 

   2.2 优化&扩容

       一旦通过压测发现系统性能瓶颈,优先考虑能否进行优化,根据压测瓶颈时系统资源使用情况,充分利用内存分配优化、线程池调整、锁机制优化、异步化等方式进行业务优化。次之再考虑扩容方案,云上业务可考虑ESS或提前预约所需资源或配置升级。优化和扩容结合压测反复进行;直到系统可承载能力最终达到业务预期;

 

   2.3 预案 

       预案不仅是大促不可缺少的一环,日常系统运维过程中其实也是必不可少;大促预案分为前置预案和应急预案;

       1) 前置预案

         指在大促峰值流量之前执行的提前降级预案,无损或者预期范围内的。例如提前关闭写io频繁的日志写入,混部场景中调整调度策略避免调度到高压模块,提前关闭一些生产高消耗的策略等;

       2)紧急预案

         是指在流量超出预期或者链路中单个应用性能异常等情况下执行的应急预案,旨在快速恢复系统服务能力;入口的限流,应用策略降级等,可能的情况下优先采用无损的降级预案;

 

   2.4 大促中

       大促实际备战过程中,需注意:

          1)提前预案的操作,设定紧急预案执行的决策人、执行人和double check负责人,尽量不进行非预期的操作;

          2)峰值时段流量、系统表现相关数据采集;

          3)特别注意主动的数据推送,活动安排等导致的流量高峰,注意调整推送步长;

          4)系统各种大小异常情况信息采集

 

       相信做好了压测和容量准备,模拟了各种压测和问题场景,大促肯定能平稳过渡; 

 

3)总结&沉淀

      每次大促都是一次难得的经历,不管是对系统还是对开发运维人员,做好总结和沉淀能够对后期日常的系统维护以及以后的大促提供非常宝贵的经验;

      1) 压测方案的沉淀;

      2) 系统优化方案的沉淀;

      3) 演练过和执行过的预案及场景整理;

      4) 峰值流量、对应系统资源消耗及扩容数据收集;

      5) 其它相关业务重要数据沉淀

 

原文链接

 

本文转载自:http://click.aliyun.com/m/24825/  

_夜枫
粉丝 10
博文 506
码字总数 0
作品 0
朝阳
后端工程师
私信 提问
当当网双11"超级工程":运维人双十一怎么过?

  【IT168 技术】每年双十一,不仅是剁手族的狂欢节,更是各大电商技术团队技术水平与技术创新实践检验的舞台,不断创新高的销售额、交易峰值、支付峰值,这些惊人数字的背后都离不开强力的...

it168网站
2017/11/10
0
0
京东11.11:京麦服务市场交易平台备战实践

作者:张松然,京东商城,商家研发部架构师。丰富的构建高性能高可用大规模分布式系统的研发、架构经验。2013年加入京东,目前负责京麦服务市场的系统研发工作。 责编:钱曙光(qianshg@csd...

dev_csdn
2017/12/19
0
0
感恩节黑客也搞起了黑五大促,但甩卖的是你的信用卡

是不是还沉浸在黑五海淘的氛围中无法自拔?提醒你下,别被打折冲昏了头脑,其实暗网上也在搞黑五!你的信用卡或个人信息可能正在暗网上打折甩卖呢。 来自 FBI、英国网络防御机构和大型网络安...

大壮旅
2018/11/24
0
0
从10亿到百亿规模大促,用云效玩转项目管理

云小妹导读:一个大的商业项目,如何能做到如期完工并准时交付,是有一套标准化的流程和体系来支撑的。 项目管理并不是一个陌生的话题,就像《人月神话》里面提到的阿波罗计划、曼哈顿工程都...

云效鼓励师
2018/06/20
0
0
罗振宇跨年演讲之夜 阿里云护航得到App

在刚刚过去的2017年12月31日,罗振宇在上海举办了《时间的朋友》跨年演讲,这场四个小时的跨年演讲吸引了近万的现场观众和超过百万的直播观众。在观众们聚精会神聆听的同时,得到App、电商平...

木环
2018/01/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

哪些情况下适合使用云服务器?

我们一直在说云服务器价格适中,具备弹性扩展机制,适合部署中小规模的网站或应用。那么云服务器到底适用于哪些情况呢?如果您需要经常原始计算能力,那么使用独立服务器就能满足需求,因为他...

云漫网络Ruan
今天
5
0
Java 中的 String 有没有长度限制

转载: https://juejin.im/post/5d53653f5188257315539f9a String是Java中很重要的一个数据类型,除了基本数据类型以外,String是被使用的最广泛的了,但是,关于String,其实还是有很多东西...

低至一折起
今天
17
0
OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
11
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
9
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部