文档章节

关于Spark Dataset API中的Typed transformations和Untyped transformations

o
 osc_fmg49rzg
发布于 2019/03/17 19:37
字数 760
阅读 5
收藏 0

「深度学习福利」大神带你进阶工程师,立即查看>>>

 

 

 

前言

学习Spark源代码的过程中遇到了Typed transformations和Untyped transformations两个概念,整理了以下相关的笔记。
对于这两个概念,不知道怎么翻译好,个人理解为强类型转换和弱类型转换,也不知道对不对,欢迎各位大神指正。

关于Dataset

Dataset是特定领域对象(domain-specific object)的强类型集合,它可以使用函数或关系运算进行并行转换。 每个Dataset还有一个名为DataFrame的弱类型视图,相当于Dataset[Row]
对于Spark(Scala),DataFrames只是类型为Row的Dataset。 “Row”类型是Spark中用于计算的,优化过的,in-memory的一种内部表达。

Dataset上可用的操作分为 转换(transformation)执行(action) 两种。

  • Transformation操作可以产生新的Dataset,如map,filter,select和aggregate(groupBy)等。
  • Action操作触发计算和返回结果。 如count,show或写入文件系统等。

关于Dataset API

Typed and Un-typed APIs

实质上,在Saprk的结构化API中,可以分成两类,“无类型(untyped)”的DataFrame API和“类型化(typed)”的Dataset API。
确切的说Dataframe并不是”无类型”的, 它们有类型,只是类型检查没有那么严格,只检查这些类型是否在 运行时(run-time) 与schema中指定的类型对齐。
而Dataset在 编译时(compile-time) 就会检查类型是否符合规范。

Dataset API仅适用于 基于JVM的语言(Scala和Java)。我们可以使用Scala 中的case class或Java bean来进行类型指定。

关于不同语言中的可用API可参考下表。

Language Main Abstraction
Scala Dataset[T] & DataFrame (alias for Dataset[Row])
Java Dataset[T]
Python* DataFrame
R* DataFrame

由于Python和R没有compile-time type-safety,因此只有 Untyped API,即DataFrames。

关于Transformations

转换(transformation)可以被分为:

  • 强类型转换(Typed transformations)
  • 弱类型转换(Untyped transformations)

Typed transformations vs Untyped transformations

简单来说,如果转换是弱类型的,它将返回一个Dataframe(确切的说弱类型转换的返回类型还有 Column, RelationalGroupedDataset, DataFrameNaFunctionsDataFrameStatFunctions 等),而强类型转换返回的是一个Dataset。
在源代码中,我们可以看到弱类型转换API的返回类型是Dataframe而不是Dataset,且带有@group untypedrel的注释。 因此,我们可以通过检查该方法的签名来确定它是否是弱类型的(untyped)。

强类型转换API带有@group typedrel的注释

例如Dataset.scala类中的join方法就属于弱类型转换(untyped transformations).

  /**
   * Join with another `DataFrame`.
   *
   * Behaves as an INNER JOIN and requires a subsequent join predicate.
   *
   * @param right Right side of the join operation.
   *
   * @group untypedrel
   * @since 2.0.0
   */
  def join(right: Dataset[_]): DataFrame = withPlan {
    Join(logicalPlan, right.logicalPlan, joinType = Inner, None, JoinHint.NONE)
  }

总结

通常,任何更改Dataset列类型或添加新列的的转换是弱类型。 当我们需要修改Dataset的schema时,我们就需要退回到Dataframe进行操作。

参考资料

Structured API Overview
Difference-between-Typed-and-untyped-transformation-in-dataset-API
RDDs vs DataFrames and Datasets
spark-sql-dataset-operators
org.apache.spark.sql.Dataset

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
访问安全控制解决方案

本文是《轻量级 Java Web 框架架构设计》的系列博文。 今天想和大家简单的分享一下,在 Smart 中是如何做到访问安全控制的。也就是说,当没有登录或 Session 过期时所做的操作,会自动退回到...

黄勇
2013/11/03
3.5K
8
我的架构演化笔记 功能1: 基本的用户注册

“咚咚”,一阵急促的敲门声, 我从睡梦中惊醒,我靠,这才几点,谁这么早, 开门一看,原来我的小表弟放暑假了,来南京玩,顺便说跟我后面学习一个网站是怎么做出来的。 于是有了下面的一段...

强子哥哥
2014/05/31
976
3
beego API开发以及自动化文档

beego API开发以及自动化文档 beego1.3版本已经在上个星期发布了,但是还是有很多人不了解如何来进行开发,也是在一步一步的测试中开发,期间QQ群里面很多人都问我如何开发,我的业余时间实在...

astaxie
2014/06/25
2.7W
22
WebUI自动化测试框架--Dagger

Dagger是网易杭州研究院QA团队开发的一个轻量级、运行稳定的WebUI自动化测试框架,主要基于Selenium及TestNg可以认为是对Selenium进行二次封装的一个框架(俗称 造轮子 )。之所以把这个轮子...

ChenKan
2013/03/05
2.8W
6
PHP OAuth API

PHP OAuth API可以授权访问的用户一个API使用OAuth协议。它抽象OAuth 1.0,1.0和2.0在同一个类,因此您可以使用相同的“获得一个令牌”授权访问代表当前用户的任何API支持任何版本的OAuth协议。...

匿名
2012/11/01
4K
0

没有更多内容

加载失败,请刷新页面

加载更多

没有指定分支的“git push”的默认行为 - Default behavior of “git push” without a branch specified

问题: I use the following command to push to my remote branch: 我使用以下命令推送到我的远程分支: git push origin sandbox If I say 如果我说 git push origin does that push ch......

技术盛宴
58分钟前
21
0
为什么在允许某些Unicode字符的注释中执行Java代码?

问题: The following code produces the output "Hello World!" 以下代码生成输出“Hello World!” (no really, try it). (不,真的,试试吧)。 public static void main(String... args......

富含淀粉
今天
18
0
字符串格式:%与.format - String formatting: % vs. .format

问题: Python 2.6 introduced the str.format() method with a slightly different syntax from the existing % operator. Python 2.6引入了str.format()方法,其语法与现有的%运算符略有不......

javail
今天
22
0
什么是按位移位(位移)运算符以及它们如何工作? - What are bitwise shift (bit-shift) operators and how do they work?

问题: I've been attempting to learn C in my spare time, and other languages (C#, Java, etc.) have the same concept (and often the same operators) ... 我一直在尝试在业余时间学习......

法国红酒甜
今天
32
0
OSChina 周二乱弹 —— 卧槽 李荣浩的契约兽啊

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《红色的回忆》- 痛仰乐队 手机党少年们想听歌,请使劲儿戳(这里) 动弹, 又好多...

小小编辑
今天
81
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部