由sqlContext.implicits._带来的一场血案

原创
2016/10/26 15:45
阅读数 1.7K

先来看看Spark里关于implicit的实现,如下:

object implicits extends SQLImplicits with Serializable {
  protected override def _sqlContext: SQLContext = self

  implicit class StringToColumn(val sc: StringContext) {
    def $(args: Any*): ColumnName = {
      new ColumnName(sc.s(args: _*))
    }
  }
}

其中 SQLImplicits 是一个抽象类,包含了一系列的隐式转换,不过主要负责将scala对象转换为DataFrame。我们主要用到的是$符,涉及到的是StringToColumn这个隐式类里的$方法,所以重点看这个方法。

一开始以为它只是个普通的隐式类,我们知道隐式类一般来说这么用

object Implicits {
  implicit class RangeMaker(val start: Int) {
    def -->(end: Int) = start to end
  }
}
// 接下来调用如下
import Implicits._
1 --> 10 mkString(",")  => 1,2,3,4,5,6,7,8,9,10

这里隐式类RangeMaker相当于给Int类型添加了一个-->方法,所以1 --> 10实际是new RangeMaker(1).-->(10)的调用。 但是我们看Spark里的隐式方法调用,它是df.select($"columnA", $"columnB"),我们发现$"xx"没法转成new StringToColumn(xx).$(xx)调用方式,那它是怎么工作的呢? 我们照它仿写一个例子:

object Implicits { implicit class Test(val a: Int) { def $(b: Int) = b }}
// 调用测试
import Implicits._
$12 => error: not found: value $12,   $(12) => error: not found: value $

我们会发现,这种调用方式是不成功的,因为它根本是错的。所以我又怀疑是Spark相应类里有上下文,结果找了很久也没什么发现。所以,说明特殊性必是与StringContext这个类有关系,查了下发现它是个字符串插值类,进去看了才发现问题果然出在这。

它是case class StringContext(parts: String*) { ... },提供了s, f, raw三种字符串插值方式,我们常用的是s"xxx$xx",这里会将变量xx进行替换。而f则可以进行字符串的简单格式化,如f"$name%s is $height%2.2f"raw插值器则跟s插值器差不多,不过它不会转\n

而对于s"xxx$xx"它的调用方式实际是new StringContext("xxx").s(xx),这个我们在类里面并没有找到,因为它是scala编译器做了特殊处理的,StringContext类是由内核负责处理的特殊类,它只放出来了部分插接点来让我们做扩展。可参见SIP文档

Spark里的这个隐式类,实际是给StringContext类扩展了一个$方法,所以当我们调用$"columnA"的时候,实际是new StringToColumn(new StringContext("columnA")).$(),这些都是编译器做的处理!

来个小测试,自己来扩展StringContext的方法,代码如下:

object Implicits { implicit class Test(val sc: StringContext) extends AnyVal { def back(args: Any*) = args }}
// 调用
import Implicits._
back"123"  => List()
val name = 11; back"name: $name"  => WrappedArray(11)
val name = 11; val id = 12; back"name: $name, id: $id"  => WrappedArray(11, 12)

这里back方法是把传入的参数原样输出,back"123"实际的调用是new Test(new StringContext("123")).back(),所以输出为空,与Spark里常用的$"columnA"一致。val name = 11; back"name: $name"实际的调用是new Test(new StringContext("name: ")).back(11),所以输出的是WrappedArray(11)。对于val name = 11; val id = 12; back"name: $name, id: $id"实际调用的是new Test(new StringContext("name: ", ", id: ")).back(11, 12),所以输出的是WrappedArray(11, 12)

由此可以看出,对于back"name: $name, id: $id"StringContext类的方法逻辑是先拆分里面的变量,用"name: ", ", id: "来初始化StringContext类,赋给parts成员变量,然后再把参数里的变量替换为实际值赋给方法。

欢迎转载,但请注明出处:https://my.oschina.net/u/2539801/blog/776027

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部