Comparison method violates its general contract!

原创
2016/03/31 10:49
阅读数 9.3K

在使用spark RDD中,需要进行二次排序,二次排序需要使用到scala List的sortWith(compare),需传递一个比较函数compare给sortWith,这个时候会报如标题所示的错误。

val rdd1 = rdd.groupByKey().sortByKey(true).map(x => (x._1,x._2.toList.sortWith(timeCompare)));

这个错误是jvm1.6和jvm1.7版本不一样带来的bug,来龙去脉参考:Comparison method violates its general contract!

根据参考文档,需要强制jvm使用jdk1.6的数组排序策略,所以需要传递jvm参数,如下:

sparkConf.set("spark.executor.extraJavaOptions", "-Djava.util.Arrays.useLegacyMergeSort=true");

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
1
分享
返回顶部
顶部