文档章节

变而不变:我看分布式系统发展和阿里实践

_夜枫
 _夜枫
发布于 2017/03/25 20:50
字数 373
阅读 9
收藏 0

大数据计算服务(MaxCompute)是一种快速、完全托管的PB/EB级数据仓库解决方案。具备万台服务器扩展能力和跨地域容灾能力,是阿里巴巴内部核心大数据平台,支撑每日百万级作业规模。

MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

相对而言,Reshuffle数据需要落盘,因为Resuffle把多个机器联系起来,出错概率大大增加。但是落盘大大降低了系统的性能,如果只是简单用network的方式来Shuffle数据,则不能容错。

而MaxCompute采用Network-Disk的可自适应性的channel来进行Data-Shuffle。

在MaxComputeAPI取舍中,二八原则体现得十分明显。流计算用户80%对latency更为看重,批处理用户80%对throughput更为看重,我们BI系统希望服务好高频的20%的数据,使得80%的访问都达到毫秒级。

系统设计中常用方法有:空间换时间、时间换空间、API层次设计、系统中层次法。MaxCompute数仓采用层次化设计方法。一致性变强,容量变小,吞吐性能变小,成本变高,问题规模变小。

ef5d695002eb7ff952e034eb1cbd727d5841ce81

5635b4a976e31c6cd65b25b9b833c9a9832d1619

350c90d3cafda246105a23e4ce880c7a11057c07

09da68535be24c6376c7e0762cfb2576121c429d

 

9e4d8bba47a5f3c39a2f9333b92f3bb1ec1ef36b

95344366390c20783d9134fb8c01b290bda9921e

 

3c61f453bb3221d23d1ff4477c969b2b52e63bf9

bcbc2899ee952eaa19b58f209a0093447dfcf37f

7bb70c788588a436d8ce6e2413bc37bd27b84661

9f1d9ecb072e58b70d7b0b40498d6f8ef225aaa7

10e7a614e0be35969bb75436f7d57c7642f4cfe1

38aeadff2a2fdcc6c0c1e170414aba3c387020b1

67bfe4028d5b02c9799f7f59b9ccf7bc2cecdb1b

 

5724339e6626a1ffda0a548e51d2c41f7f472ae3

075feba2cf3fda481ac7bcc9a52ddd586a5e0ed9

7b0b8f7b330800e8f996f44c33daf14c702b7ef7

5c35a5116988e68214d387d44287634d8b316bc2

 

040208ec591b757c494dc25fe86de8bf55203508

0dc3a1726bd6fb6c7f0de55506800d0b48b0c403

acf0de941280ce414d2529a54e6b299a99618058

 

c8ef10508da363c35681d76115dd1ac731d383b9

acf0de941280ce414d2529a54e6b299a99618058

cd549c6110a87a775204d3801a133ad1e4789fa9

acf0de941280ce414d2529a54e6b299a99618058

998463a3d22c3bbedd3926bc2beeadfcb5f7a388

ac3e38cdefd667a3abb3d58807858d161f9b88f7

bb037015affae33c7bcc860000133d5639f2b989

ff927e8973c31a6b873f0b439778b60faa6d9886

238605b6dce7f21eab8202293148bd4949622987

9f949ccab874585f11cdb83f36ba10f8b0d7a23d

3ed587ad77e28d6db660fd36be7851e01d804c0b

本文转载自:https://yq.aliyun.com/articles/63155

_夜枫
粉丝 10
博文 506
码字总数 0
作品 0
朝阳
后端工程师
私信 提问
双11同款!阿里云发布全局事务服务GTS:每秒处理10万笔事务

5月30日,阿里云宣布全局事务服务产品GTS正式商用,每秒可处理10万笔事务,将分布式事务这个“贵族技术”变为“平民技术 ”,可解决跨数据库、消息、服务的分布式环境下的事务一致性问题,让...

中间件小哥
2018/05/30
0
0
推荐指数五星丨错过直播!不能再错过的百场技术直播全回顾

细数2017,几乎每晚20:00,云栖君都和大家相约在屏幕两端。云栖社区2017年共举办300余场在线直播,10+在线技术峰会,内容涵盖多个技术领域,开发者们可谓是过足了瘾。 考虑到大家忙忙碌碌的工...

云迹九州
2018/01/09
0
0
【干货合集】技无止境——2017双11核心技术大揭秘

一、视频分享 1、双11万亿流量下的分布式缓存Tair技术揭秘 视频主要从Tair发展和应用开始谈起,接着谈及双11面临的挑战,重点分享了性能优化方面的实践,最后对缓存难题给出了解决方案。 点击...

阿里云云栖社区
2018/01/03
0
0
2018杭州云栖大会飞天技术汇专场重磅来袭,11场技术盛宴等你来“撩”

又是一年云栖时,9月19日-22日阿里云云栖大会将在杭州云栖小镇召开。经过数年的发展,云栖大会已经发展成为了全球云计算TOP级峰会。 此次云栖大会以驱动数字中国为主题,展现阿里云依托云计算...

云攻略小攻
2018/08/29
0
0
阿里云Kubernetes Service Mesh实践进行时(4): 分布式追踪

概述 本系列前面文章中已经介绍了利用阿里云Kubernetes容器服务,如何快速搭建一套用于连接、管理以及安全化微服务的开放平台Istio,为应用引入和配置多个相关服务。 阿里云Kubernetes Serv...

osswangxining
2018/06/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
697
10
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
39
0
spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
今天
25
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
74
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
73
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部