1
2
3
4
5
6
7
连击 天
fork: star:
加载中
审
原
荐
2.微服务架构组件分析
该系列文章来源于 学习《极客时间——从0开始学习微服务》分享之后笔记载录和读后感。 作者胡忠想，微博技术专家。 从 2012 年加入微博到现在，从 2012 年加入微博到现在，我一直在做微博首页...
原
troubleshooting 解决算子函数返回NULL导致问题
在算子函数中，返回null return actionRDD.mapToPair(new PairFunction<Row, String, Row>() { private static final long serialVersionUID = 1L; @...
原
troubleshooting 解决各种序列化导致的错误
你会看到什么样的序列化导致的报错？ 用client模式去提交spark作业，观察本地打印出来的log。如果出现了类似于Serializable、Serialize等等字眼，报错的log，那么恭喜大家，就碰到了序列化问...
原
troubleshooting 解决yarn-cluster模式的JVM栈内存溢出问题
公司里面你的机器节点一般都是虚拟机啊！所以yarn-client会有网络激增的问题！Yarn-client模式可以跑，但是Yarn-cluster模式不能跑，就是报那么一个JVM永久代溢出的那么一个问题！ spark-su...
原
troubleshooting 错误的持久化方式以及checkpoint的使用
来说下CheckPoint，有时候它对故障会产生效果，它最起效果的时候是什么时候呢？如果缓存BlockManager会根据你的缓存策略去把数据存到内存或者磁盘！持久化，大多数时候，都是会正常工作的。但...
原
troubleshooting yarn-client模式导致的网卡流量激增问题
很多公司都是通过Yarn来进行调度，mapreduce on yarn、spark on yarn、甚至storm on yarn。 Yarn集群分成两种节点： ResourceManager负责资源的调度； NodeManager负责资源的分配、应用程序执...
原
troubleshooting shuffle reduce端缓冲大小以避免OOM
shuffle reduce 端工作原理（省略，各种博客有讲解，而且都很详细！！！） reduce端默认buffer大小是48MB，spark的shuffle和MR的shuffle绝对是不一样的！！！ 场景： map端的task是不断的输出...
原
troubleshooting JVM GC导致的shuffle文件拉取失败
executor的JVM进程，可能内存不是很够用了。那么此时可能就会执行GC。minor GC or full GC。总之一旦发生了JVM之后，就会导致executor内，所有的工作线程全部停止，比如BlockManager，基于n...
原
荐
spark-kryo序列化(spark优化点)
以我的经验来看啊，这个kryo序列化并没有对性能优化产生决定性的影响啊，虽然包括官网都在大力的推崇这个，实际上这个东西性能的提升肯定有！但不是决定性作用的！
原
spark-JVM调优原理
性能调优 常规性能调优：分配资源、并行度。。。等 JVM调优（Java虚拟机）：JVM相关的参数，通常情况下，如果你的硬件配置、基础的JVM的配置，都可以的话，JVM通常不会造成太严重的性能问题；...
原
spark-数据本地性
场景： Spark在Driver上，对Application的每一个stage的task，进行分配之前，都会计算出每个task要计算的是哪个分片数据，RDD的某个partition；Spark的task分配算法，优先，会希望每个task正...
没有更多内容
加载失败，请刷新页面
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
公众号
视频号
深圳市奥思网络科技有限公司版权所有
粤ICP备12009483号
评论删除后，数据将无法恢复