文档章节

Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray

 张欢19933
发布于 07/16 19:41
字数 236
阅读 11
收藏 0

code

      val linkPairSum = F.udf(
        (list:List[Map[Long,Int]]) => {
          var map = Map[Long,Int]()
          for(m <- list){
            if(m != null){
              println("----")
              println(m)
              map = map ++ m.map(t => t._1 -> (t._2 + map.getOrElse(t._1, 0)))
              println("====")
              println(map)
            }
        }
          map
        }
      )


      val sum = all.groupBy("window", "mapVersion", "linkId")
        .agg(F.sum("passthrough").alias("passthrough"),F.sum("resident").alias("resident"),F.first("driverId").alias("driverId"),
          linkPairSum(F.collect_list("inLink")).alias("inLink"),linkPairSum(F.collect_list("outLink")).alias("outLink")
        ).as[PassThroughFeature]

报错

Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Lscala.collection.immutable.Map;

原因

So it looks like the ArrayType on Dataframe "idDF" is really a WrappedArray and not an Array - So the function call to "filterMapKeysWithSet" failed as it expected an Array but got a WrappedArray/ Seq instead (which doesn't implicitly convert to Array in Scala 2.8 and above).

修改

      val linkPairSum = F.udf(
        (list:List[Map[Long,Int]]) => {
          var map = Map[Long,Int]()
          for(m <- list){
            if(m != null){
              println("----")
              println(m)
              map = map ++ m.map(t => t._1 -> (t._2 + map.getOrElse(t._1, 0)))
              println("====")
              println(map)
            }
        }
          map
        }
      )

修改为:
      val linkPairSum = F.udf(
        (list:Seq[Map[Long,Int]]) => {
          var map = Map[Long,Int]()
          for(m <- list){
            if(m != null){
              println("----")
              println(m)
              map = map ++ m.map(t => t._1 -> (t._2 + map.getOrElse(t._1, 0)))
              println("====")
              println(map)
            }
        }
          map
        }
      )

 

© 著作权归作者所有

粉丝 47
博文 532
码字总数 244932
作品 0
海淀
私信 提问
使用jfinal源码在jetty上运行出错

@JFinal 你好,想跟你请教个问题: 在jetty上跑之后出现了以下问题 Exception in thread "com.mchange.v2.async.ThreadPoolAsynchronousRunner$PoolThread-#2" java.lang.ExceptionInInitial......

赵世传
2013/07/24
1K
5
RuntimeException: java.lang.ClassCastException: [I cannot be cast to [Ljava.lang.Object

Caused by: java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassCastException: [I cannot be cast to [Ljava.lang.Object; at com.twitter.chill.java.ArraysAsListS......

知行合一1
2017/09/25
253
1
dubbo+springboot整合异常

在整合dubbo+springboot的项目,项目采用分布式开发。分别为springboot-server,springboot-client两个工程。使用main函数启动springboot-server,发现正常。打开dubbo-admin查看,发现服务也...

美丽不打折
2017/10/19
2.3K
2
SOS 用jax-ws调用https的webservice时 抛出的异常

Exception in thread "main" com.sun.xml.internal.ws.client.ClientTransportException: HTTP transport error: java.lang.ClassCastException: java.lang.String cannot be cast to java.u......

垂垂
2015/04/14
1K
0
jna调用imm32.dll有问题?

jna调用imm32.dll有问题? Caused by: java.lang.ClassCastException: $Proxy3 cannot be cast to com.sun.jna.Library at com.sun.jna.Native.loadLibrary(Native.java:415)......

绝对零度
2013/11/24
583
1

没有更多内容

加载失败,请刷新页面

加载更多

spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
20分钟前
2
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
6
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
8
0
详解箭头函数和普通函数的区别以及箭头函数的注意事项、不适用场景

箭头函数是ES6的API,相信很多人都知道,因为其语法上相对于普通函数更简洁,深受大家的喜爱。就是这种我们日常开发中一直在使用的API,大部分同学却对它的了解程度还是不够深... 普通函数和...

OBKoro1
昨天
7
0
轻量级 HTTP(s) 代理 TinyProxy

CentOS 下安装 TinyProxy yum install -y tinyproxy 启动、停止、重启 # 启动service tinyproxy start# 停止service tinyproxy stop# 重启service tinyproxy restart 相关配置 默认...

Anoyi
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部