文档章节

【互动问答分享】第12期决胜云计算大数据时代Spark亚太研究院公益大讲堂

Spark亚太研究院
 Spark亚太研究院
发布于 2014/09/19 13:17
字数 524
阅读 181
收藏 1

 

“决胜云计算大数据时代”

Spark亚太研究院100期公益大讲堂 【第12期互动问答分享】

 

Q1:jobserver 企业使用情况如何?

  • 中国有一家视频网站已经使用超过JobServer超过半年的时间;

  • 2013年和2014年Spark Summit均大力推荐使用JobServer;

     

Q2:请问,jobserver是适合企业内部还是供外部客户使用(可能并发、安全有要求),还是两者ok?

  • 目前可见的企业使用案例均是用在企业内部;

  • 如果是企业外部可以作为云服务或者大数据资源池使用;

 

Q3:请问,spark 跑1T数据需要多少内存才能很快跑完

  • 这首先和程序运行时候在每台Worker上使用的内存和CPU有关,提交程序的时候可以手动配置;

  • 其次是和带宽有关系,Shuffle的要尽量减少数据;

  • Driver所在的机器的配置也是极为重要的,一般而言Driver所在的Client的内存和CPU根据实际情况要尽可能的更高的配置,同时,也是至关重要的Driver和Spark集群要在同一个网络环境,应为Driver要不断的task给Worker上的Executor,同时接受Driver的数据;

 

Q4:我目前是解决stackoverflow Error 是用checkPoint解决lineage过长的问题 但是这样会影响效率 怎样在效率和error之间均衡呢?

  • :StackOverflow可以通过配置BlockManager内存管理策略来缓解;

  • 对于checkpoint,要根据实际情况调整,例如对于Spark Streaming 默认是在内存有两份数据副本,此时如果处理能力无法及时消费实时流数据,就会极为容易产生StackOverflow的情况,此时就要根据实际情况调整时间窗口和进行checkpoint;

© 著作权归作者所有

Spark亚太研究院
粉丝 76
博文 73
码字总数 35236
作品 0
朝阳
技术主管
私信 提问
加载中

评论(1)

Tonlin
Tonlin
测试评论
【互动问答分享】第10期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第10期互动问答分享】 Q1:Spark on Yarn的运行方式是什么? Spark on Yarn的运行方式有两种:Client和Cluster模式 Client模式如...

Spark亚太研究院
2014/09/04
253
0
【互动问答分享】第13期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第13期互动问答分享】 Q1:tachyon+spark框架现在有很多大公司在使用吧? Yahoo!已经在长期大规模使用; 国内也有公司在使用; ...

Spark亚太研究院
2014/09/24
135
0
【互动问答分享】第17期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第17期互动问答分享】 Q1:为了加快spark shuffle 的执行速度是否可以把sparklocaldirs 指向一块固态硬盘上面,这样做是否有效果...

Spark亚太研究院
2014/10/17
195
0
【互动问答分享】第15期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】 Q1:AppClient和worker、master之间的关系是什么? :AppClient是在StandAlone模式下SparkContext.runJob...

Spark亚太研究院
2014/10/08
128
0
【互动问答分享】第18期决胜云计算大数据时代Spark亚太研究院公益大讲堂(改)

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第18期互动问答分享】 Q1:Master和Driver的是同一个东西吗? 两者不是同一个东西,在Standalone模式下Master是用于集群资源管理...

Spark亚太研究院
2014/10/31
87
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring AOP-06-切入点类型

切入点是匹配连接点的拦截规则。之前使用的是注解@Pointcut,该注解是AspectJ中的。除了这个注解之外,Spring也提供了其他一些切入点类型: • 静态方法切入点StaticMethodMatcherPointcut •...

moon888
昨天
90
0
Class Loaders in Java

1. Introduction to Class Loaders Class loaders are responsible for loading Java classes during runtime dynamically to the JVM (Java Virtual Machine). Also, they are part of the ......

Ciet
昨天
68
0
以Lazada为例,看电商系统架构演进

什么是Lazada? Lazada 2012年成立于新加坡,是东南亚第一电商,2016年阿里投资10亿美金,2017年完成对lazada的收购。 业务模式上Lazada更偏重自营,类似于亚马逊,自建仓储和为商家提供服务...

春哥大魔王的博客
昨天
60
0
【自用】 Flutter Timer 简单用法

dart: void _startTime() async { _timer = Timer(Duration(seconds: sec), () { fun(xxx,yyy,zzz); }); } @override void dispose() { _timer.cancel()......

Tensor丨思悟
昨天
65
0
计算机实现原理专题--自动化(六)

目前实现的加减法器可以扩充到更高位宽的数值范围,不仅可以实现连续n个数的相加减,还可以实现其中几个数的相加减,并保存相应的结果。但是还不能应对某些场景,例如需要复用中间的临时结果...

FAT_mt
昨天
58
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部