文档章节

据阿里云EMR快速搭建数据平台

hblt-j
 hblt-j
发布于 2017/03/30 18:03
字数 732
阅读 236
收藏 0

EMR完整技术堆栈测试选型:

emr选用主流lambda架构,兼顾hadoop,spark两大引擎,并做了跨引擎整合,从分步式计算,调度等多方面做了高度统一化和抽象化,上层应用和开发几乎是透明无感知的(当然这是对于开发人员来说的,架构和资深研发看见小心触电字样,依然还是要打开保险,抻手进去的 ^^

选用原因:

1.部署这么一套完备的基础平台还是很费劲的,自己搭也只会选其中的几块做整合,未来有需求才会增加,如果大的技术堆栈在未来发展依然主流,那一步到位必然省事,但现在spark大有以一盖全的可能,但市面人力不一定都能找到,综合考虑全选有备无患,反正也不多收费,空间留着也浪费

2.平台运维,故障解决,技术支持,扩容,灾备等云的人力财力智力优势不多说
3.单说引擎他们还是做了些安全稳定性优化和性能增强的,还有和自家的osssls,或是采集MaxcCompute产品对接提供原生支持和更优化方案

缺点与遇到的坑:

1.Emr并不是maxCompute(官网大多介绍的后者,像是个中间实验版本(目前只收集群资源的费用,而emr本身免费),有的Emr版本并不成熟,如我们选最新版3.0.0,他选择的spark2.0版本(不支持版本定制、切换、升迁等),流处理竟有bug未解决,不支持就发布出来了

2.集群网络环境一会精典一会vpc,还有各种对应endpoint的访问方式,让个不懂运维或网络知识的人操作还是有点头疼

3.切换回2.4.1spark1.6.3sql速度据说比2.0十倍不说,原3.0.0交互环境可以支持阿里自家的oss的,现2.4.1版本竟不支持,用Zeppelin自己加jar包才可以

4.Zeppelin的整合并未像其它产品一样积成的如何好,像个开源包放那而于,如oss,sls,还有rds的连接驱动等要手功配置才可以使用;加依赖也有问题不能识别到spark进程classpath,要改zeppelin-env submit-option项目中加—jar参数,还要手动集群环境重启zeppelin才能支持;sparkconf配置改动可能会使zeppelin不可用;其它的如hbase群里反映还是有很多问题,还没继续测试,总之兼容性稳定性改进空间还有很大

© 著作权归作者所有

hblt-j
粉丝 24
博文 218
码字总数 73000
作品 0
海淀
架构师
私信 提问
熊猫直播:大视频数据业务的云上历程

在海量数据的大视频行业,如何满足大数据需求?12月20日举办的北京云栖大会“企业云上业务优化”分论坛上,熊猫直播大数据技术专家卢圣刚,分享了熊猫直播不断优化云上资源,建立起灵活配置、...

阿里云服务
2017/12/21
0
0
【全记录】2017云栖大会·北京峰会——企业云上业务优化专场

作为本年度科技界的压轴大戏,2017云栖大会·北京峰会盛大空前, 30+主题论坛、深度技术解读、行业前沿实践分享以及创新互动体验让来到现场的朋友们印象深刻。本次峰会中,由阿里云客户服务部...

阿里云服务
2017/12/22
0
0
钉钉群直播【E-MapReduce产品探秘,快速构建可扩展的高性能大数据平台】

搜群号:21784001 主题: E-MapReduce产品探秘,快速构建可扩展的高性能大数据平台 讲师: 夏立,花名雷飙,阿里巴巴计算平台EMR高级产品专家,2014年开始接触大数据,历经阿里内部的大数据发...

开源大数据EMR
07/02
0
0
Hadoop默认支持集成OSS,作为Hadoop兼容的文件系统

背景 2017.12.13日Apache Hadoop3.0.0正式版本发布,默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统。 OSS是中国云计算厂商第一个也是目前唯一一个被Hadoop官方版本支持的云存储系...

阿里云云栖社区
2017/12/19
0
0
7月10日直播【E-MapReduce产品探秘,扩展开源生态云上的能力】

搜群号:21784001 或点击# 直播间直达链接: https://tianchi.aliyun.com/course/live?spm=5176.12282029.0.0.63f71096ujZCrO&liveId=41061 主题: E-MapReduce产品探秘,扩展开源生态云上的...

EMR
07/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
6
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0
OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
1K
11
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
40
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部