文档章节

从 Spark 到 Kubernetes — MaxCompute 的云原生开源生态实践之路

阿里云官方博客
 阿里云官方博客
发布于 05/21 16:17
字数 769
阅读 1
收藏 0

2019年5月14日,喜提浙江省科学技术进步一等奖的 MaxCompute 是阿里巴巴自研的 EB 级大数据计算平台。该平台依托阿里云飞天基础架构,是阿里巴巴在10年前做飞天系统的三大件之分布式计算部分。10年后的今天,MaxCompute已经是可以承载EB级的数据存储能力,百PB级的单日计算能力,公共云覆盖国内外十几个国家和地区,专有云包含城市大脑在内部署超过100+套的阿里巴巴的统一计算平台。

这里要说的是,MaxCompute依托于阿里云的飞天基础架构,与今天业界常见的依托虚拟机技术 + 开源引擎的云原生方案有很大的不同。

随着联合计算平台的推出,MaxCompute 从可以无缝集成 Spark到今天可以通过提供标准的 Kubernetes 拥抱更加丰富的开源生态,一直秉承“保持自研优势,拥抱开源生态”的原则,走出了一条与众不同的实践之路。

在这条与众不同的路径背后,MaxCompute 开发团队对于如何选择技术栈、如何平衡成本、安全、兼容性等一系列问题都有哪些思考和展望?尽请关注

阿里云联合 CNCF 共同出品:Kubernetes and Cloud Native Meetup 上海站 
报名参加现场活动 >>>

【主题分享】从 Spark 到 Kubernetes — MaxCompute 的云原生开源生态实践之路
【分享嘉宾】李睿博 阿里巴巴高级技术专家
李睿博,花名艺卓,2009 年加入阿里,阿里云智能计算平台高级技术专家,负责带领 MaxCompute 生态平台团队,致力于提升 MaxCompute 拥抱开源生态的能力。

云集国内外一线顶配阵容,云原生最优实践技术趴,更多精彩主题抢先揭秘

  • SAP、eBay 中国、唯品会、国泰君安、阿里云、蚂蚁金服技术专家齐聚,共同解读云原生落地最优实践
  • 阿里云高级技术专家解析 MaxCompute 云原生开源生态
  • 唯品会大咖现场揭晓 Flink 项目云原生化的心路历程
  • 线上线下互动不停,参与 2 轮抽奖,赢取 CNCF 官方礼品、天猫精灵等精美礼品!

不在上海?到不了现场?
没关系,我们为您准备了议题直播,欢迎点击下面的直播链接,尽情围观!
直播链接 https://yq.aliyun.com/live/1072


原文链接
本文为云栖社区原创内容,未经允许不得转载。

© 著作权归作者所有

阿里云官方博客
粉丝 169
博文 1496
码字总数 3660203
作品 0
杭州
程序员
私信 提问
Kubernetes助力Spark大数据分析

Kubernetes 作为一个广受欢迎的开源容器协调系统,是Google于2014年酝酿的项目。从Google趋势上看到,Kubernetes自2014年以来热度一路飙升,短短几年时间就已超越了大数据分析领域的长老Had...

店家小二
2018/12/17
0
0
重磅!Google宣布为Spark推出Kubernetes Operator

“Spark Operator”测试版允许在Kubernetes集群上执行原生Spark应用程序,不需要Hadoop或Mesos。 Apache Spark是一个非常流行的执行框架,通常用在数据工程和机器学习领域。支撑Databricks ...

OpenShift开源社区
02/01
0
0
MaxCompute Spark开发指南

概述 本文档面向需要使用MaxCompute Spark进行开发的用户使用。本指南主要适用于具备有Spark开发经验的开发人员。 MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计...

zhaowei121
03/11
0
0
Spark on Kubernetes原生支持浅析

概述 Kubernetes自推出以来,以其完善的集群配额、均衡、故障恢复能力,成为开源容器管理平台中的佼佼者。从设计思路上,Spark以开放Cluster Manager为理念,Kubernetes则以多语言、容器调度...

开源大数据EMR
05/10
0
0
Spark in action on Kubernetes - Playground搭建与架构浅析

前言 Spark是非常流行的大数据处理引擎,数据科学家们使用Spark以及相关生态的大数据套件完成了大量又丰富场景的数据分析与挖掘。Spark目前已经逐渐成为了业界在数据处理领域的行业标准。但是...

莫源
01/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

IT兄弟连 Java语法教程 Java语言的跨平台特性

什么是平台 Java是可以跨平台的编程语言,那么首先我们需要知道什么是平台,通常我们把CPU与操作系统的整体称为平台。 CPU大家都知道,是计算机的大脑,它既负责思维运算,又负责计算机中各种...

老码农的一亩三分地
26分钟前
0
0
http传值问题

这两天遇到一个问题 ,与一个渠道联调接口,http请求,展示ptf 的需求,服务方以一个二进制的方式返回。 当时我们在一开始开发的时候,我们按照读取文件的方式处理,本地存一个ptf 的方式 ,...

鬼才王
35分钟前
3
0
【面试】如果你这样回答“什么是线程安全”,面试官都会对你刮目相看

不是线程的安全 面试官问:“什么是线程安全”,如果你不能很好的回答,那就请往下看吧。 论语中有句话叫“学而优则仕”,相信很多人都觉得是“学习好了可以做官”。然而,这样理解却是错的。...

中关村的老男孩
35分钟前
5
0
5.01- Druid数据源配置

1、配置项 配置 缺省值 说明 name 无 配置这个属性的意义在于,如果存在多个数据源,监控的时候 可以通过名字来区分开来。如果没有配置,将会生成一个名字, 格式是:"DataSource-" + Syste...

静以修身2025
40分钟前
4
0
itop4412开发板-Linux内核的编译

本篇文章基于itop4412开发板 5.3.2.1源码目录 Linux 内核源码在光盘“06_源码_uboot 和 kernel”目录下,如下图所示。 5.3.2.2 编译器 内核的编译器和 uboot 的编译器一样,参考“5.3.1.2 编...

书白
44分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部