文档章节

谷歌GAE运维揭秘:如何做到每天处理超过1000亿个请求

Caicloud
 Caicloud
发布于 2016/05/20 15:35
字数 1345
阅读 7
收藏 0

Google App Engine每天都服务超过1000亿个请求。就像你听说的那样,是我们的运维工程师让这成为可能。这的确有点像是魔术,将计算机科学和工程原则运用到编程系统的设计和开发中——这个总体来说是十分庞大。

谷歌运维是一套工程方法,让我们或者任何人更好的运行产品系统。它将运维的推广到更大的IT社区。它用有趣的方式来大规模提高性能和可靠性,这对于任何公司来说都是有用的。做得好的话,SRE技术可以提高操作编程服务的效率。

Chris,能告诉我们有多少SRE在操作App Engine吗,现在有多大规模呢?

Chris:我们每天有百万级以上的应用程序在处理1000亿以上的请求,支持的SRE大概几十个的样子。

Q:只有那么少的人,是如何做到这样的规模的呢?

Chris:SRE也是一个工程方法,它可以操作大规模分布式编程服务。但是让系统高度标准化也是有争议的。高度标准化意味着所有的系统工作都是相似的,这也就意味着对操作人的需求越来越小了,因为操作的复杂性大大降低了。

自动化也十分重要:我们的启动进程是全自动的,所以我们可以很好地用计算机来对这些进程进行扩容,而不是雇更多的人。如果想要将人放到进程上,那会显得很无趣,很多余。你会发现错误飙升。计算机的对错误的反应次数远远比我们人要来得多,而且快。在我们还没有注意到错误的时候,计算机就已经在将流量引到另一个数据中心了,同时保证服务继续运行。让人做人擅长的事情,让计算机做计算机擅长的事情。

Q:在SRE模式后,还有什么其他的方法吗?

Chris:因为有很多SRE团队在处理Google的服务,所以我们可以在产品上扩展标准化原则:SRE-创建工具原本是用于部署新版本的Gmail 的,例如,可以被整理来覆盖更多的场景。这也就意味着每个团队都不需要再自己创建方法来部署更新。这就确保每个产品在工具提升之后,都会得到改进,这就使得整个系统更好的使用工具。

另外, 软件工程和系统工程知识的结合,令解决方案囊括两者优点。谷歌的软件网络负载均衡器,Maglev,就是一个例子———而且它是Google云平台负载均衡器的底层技术。

Q:那么这些方法是如何影响App Engine和我们运行在AppEngine上的用户的呢?

Chris:我说个故事来阐述这个。在2013年的夏天,我们将所有App Engine的美国区域从国家的一边转移到另一边。这个举动招致没有停工期给我们的用户。

Q:怎么做到的呢?

Chris:我们先关闭一个App Engine集群,然后就如设计的那样,在上面运行的apps自动移动到了剩下的集群。我们早就事先在目标数据中心创建了美国区域的High Replication Database(https://www.youtube.com/watch?v=xO015C3R6dw)的复本,这样那些应用程序的数据(PB级别的数据!)就在该在的地方;对数据存储的修改是自动复制的,这样就可以实时更新。当在新的本地打开App Engine的时候,apps自动被分配到那个从他们备份集群中转移的集群,而且他们所有的数据是已经在适当的地方了。然后我们用剩下的集群来重复进程,直到我们完成之后。

事先准备,将大量的测试和应变计划结合,这就意味着当事情出错时候可以将冲击减少到最小。当然,我们将内部事后析误——SRE如何工作的另一个重要部分——放在一起来理解到底什么出错了,以及如何修复对长远比较好,没有指责。

Q:So cool!那么我们如何找关于SRE更多的消息?

Chris:如果你对SRE是如何在Google运行很感兴趣的话,那么就点击这个网站:https://landing.google.com/sre/,我们这周(四月7-8)也会在SREcon:https://landing.google.com/sre/就这个话题给出不同的演讲。

(如果需要转载,请联系我们哦,尊重知识产权人人有责;)

© 著作权归作者所有

Caicloud
粉丝 18
博文 77
码字总数 153394
作品 0
杭州
程序员
私信 提问
2017天猫双11,1682亿背后的阿里绝密50+技术

摘要:2017天猫双11, 交易峰值32.5万/秒,支付峰值25.6万/秒,数据库处理峰值,4200万次/秒。1682亿数字的背后是50+神秘技术,让我们在阿里云上与所有新技术相遇! 2017天猫双11的交易额定...

云栖社区
2017/11/13
0
0
Oracle、MySQL、云计算、大数据,最热话题好文都在这了!

在过去的九个月里, DBAplus社群始终聚焦各种数据库、云计算、大数据及中间件等热门话题,坚持每天为大家献上最新鲜、最内涵的技术好文!下面小编就把这些优质文章分门别类,给大家做个梳理,...

DBAplus社群
2016/06/29
0
0
承担双11万亿流量,阿里核心技术揭秘:12位大咖告诉你!

技术成就辉煌,今年的双11毫无悬念地再次刷新了全球记录——11秒交易额破亿,28秒破10亿,最终的交易额稳稳定格在了1682亿,不仅创造了极高的交易峰值和支付峰值,同时刷爆纪录的还有4200万次...

阿里云云栖社区
2017/11/30
0
0
承担双11万亿流量,阿里核心技术揭秘:12位大咖告诉你!

技术成就辉煌,今年的双11毫无悬念地再次刷新了全球记录——11秒交易额破亿,28秒破10亿,最终的交易额稳稳定格在了1682亿,不仅创造了极高的交易峰值和支付峰值,同时刷爆纪录的还有4200万次...

云栖社区
2017/11/30
0
0
2亿QQ用户大调度背后的架构设计和高效运营(上)

作者介绍 周小军 腾讯高级运维工程师,目前在腾讯社交负责社交业务海量NoSQL集群运维和团队管理。曾在天涯社区任运维副总监。对互联网网站架构、数据中心、云计算及自动化运维等领域有深入研...

luoahong
2018/06/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

对比ubuntu与centos系统 ​​​​

CentOS与Ubuntu该如何选择,哪个更好用。笔者在自媒体平台收集了一些网友的观点,较为经典,分享给大家。至于应该选择哪个,希望看完本文章后,读者心中有数。 观点1:CentOS适用于服务器,U...

老孟的Linux私房菜
今天
13
0
Java的基本类型

一、Java的基本类型 Java的基本类型有哪些? boolean char byte short int long float double ? 延伸思考 思考一:为什么有的书籍说Java存在第9种数据类型? 实际上,JAVA中还存在另外一种基...

yumoop
今天
14
0
OSChina 周四乱弹 —— 富婆小时候

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @猿敲月下码 :#今日歌曲推荐# 分享陈慧娴的单曲《夜机》 《夜机》- 陈慧娴 手机党少年们想听歌,请使劲儿戳(这里) @開源中國張學友 :早上...

小小编辑
今天
26
0
MyMinimad ── Linux下用libmad写的mp3解码播放程序(四)

优化了内存使用,不再使用mmap映射整个文件到内存 /* * 本程序是从 minimad 改进而来,如要更详细的说明请参看 minimad.c * * Gu Zhou, 2009/12/25, SiChuan University, China *...

代码强国
今天
18
0
Minikube安装

1、下载Minikube二进制文件 sudo curl -Lo minikube https://kubernetes.oss-cn-hangzhou.aliyuncs.com/minikube/releases/latest/minikube-linux-amd64 2、设置权限 sudo chmod +x minikube......

RogueQ
今天
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部