文档章节

troubleshooting 解决各种序列化导致的错误

crayzer_yixiu
 crayzer_yixiu
发布于 2016/10/30 17:44
字数 251
阅读 44
收藏 1

你会看到什么样的序列化导致的报错?

        用client模式去提交spark作业,观察本地打印出来的log。如果出现了类似于Serializable、Serialize等等字眼,报错的log,那么恭喜大家,就碰到了序列化问题导致的报错。虽然是报错,但是序列化报错,应该是属于比较简单的了,很好处理。

序列化报错要注意的点:

  • 你的算子函数里面,如果使用到了外部的自定义类型的变量,那么此时,就要求你的自定义类型,必须是可序列化的。
  • final Teacher teacher = new Teacher("SET");
    
    studentsRDD.foreach(new VoidFunction() {
     
        public void call(Row row) throws Exception {
            String teacherName = teacher.getName();
        ....  
        }
    
    });
    
    public class Teacher implements Serializable {
      
    }

 

 

  • 如果要将自定义的类型,作为RDD的元素类型,那么自定义的类型也必须是可以序列化的
  • JavaPairRDD<Integer, Teacher> teacherRDD
    JavaPairRDD<Integer, Student> studentRDD
    studentRDD.join(teacherRDD)
    
    public class Teacher implements Serializable {
      
    }
    
    public class Student implements Serializable {
      
    }
    

 

 

© 著作权归作者所有

crayzer_yixiu
粉丝 26
博文 57
码字总数 87921
作品 0
杭州
高级程序员
私信 提问
spark优化和故障排除

http://spark.apache.org/docs/1.6.2/tuning.html http://blog.csdn.net/anzhsoft/article/details/42417533 1、算子优化、filter + coalecse filter不进行重新分区,coalecse是进行重新分区......

captainliu
2016/11/13
414
0
Tomcat集群session复制与Oracle的坑。。

问题描述 公司某个系统使用了tomcat自带的集群session复制功能,然后后报了一个oracle驱动包里面的连接不能被序列化的异常。 解决方案 看到这个问题,首先检查整个系统里面的代码有没有用到T...

java技术栈
2017/11/20
0
0
Spark排错与优化

一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志去生成Spark ui,内存不足自然会OOM...

今天来找bug
2016/06/29
726
0
XmlSerializer 常见问题

简介 .NET 框架中的 XmlSerializer 是一种很棒的工具,它将高度结构化的 XML 数据映射到 .NET 对象。XmlSerializer 在程序中通过单个 API 调用来执行 XML 文档和对象之间的转换。转换的映射规...

Andrewniu
2018/08/31
0
0
SparkTask未序列化问题

为了执行作业,Spark将RDD操作的处理分解为tasks,每个task由Executor执行。在执行之前,Spark会计算task的闭包。闭包是Executor在RDD上进行计算的时候必须可见的那些变量和方法(在这种情况...

张欢19933
2017/02/07
75
0

没有更多内容

加载失败,请刷新页面

加载更多

每天AC系列(六):有效的括号

1 题目 LeetCode第20题,这题比较简单,匹配括号. 2 栈 这是栈的典型应用,括号匹配,当然不需要直接使用栈,使用一个StringBuilder即可: if(s.isEmpty()) return true;char a = s.charAt(0);...

Blueeeeeee
今天
27
0
Spring AOP-06-切入点类型

切入点是匹配连接点的拦截规则。之前使用的是注解@Pointcut,该注解是AspectJ中的。除了这个注解之外,Spring也提供了其他一些切入点类型: • 静态方法切入点StaticMethodMatcherPointcut •...

moon888
昨天
90
0
Class Loaders in Java

1. Introduction to Class Loaders Class loaders are responsible for loading Java classes during runtime dynamically to the JVM (Java Virtual Machine). Also, they are part of the ......

Ciet
昨天
96
0
以Lazada为例,看电商系统架构演进

什么是Lazada? Lazada 2012年成立于新加坡,是东南亚第一电商,2016年阿里投资10亿美金,2017年完成对lazada的收购。 业务模式上Lazada更偏重自营,类似于亚马逊,自建仓储和为商家提供服务...

春哥大魔王的博客
昨天
62
0
【自用】 Flutter Timer 简单用法

dart: void _startTime() async { _timer = Timer(Duration(seconds: sec), () { fun(xxx,yyy,zzz); }); } @override void dispose() { _timer.cancel()......

Tensor丨思悟
昨天
65
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部