文档章节

SparkSQLUDF自定义函数案例

别寒
 别寒
发布于 2017/07/31 14:28
字数 149
阅读 10
收藏 0
package com.hhb.spark.sql

import org.apache.spark.sql.{Row, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.types.{StructField, _}

/**
  * Created by dell on 2017/7/31.
  */
object UDF {
  def main(args: Array[String]) {
    val conf = new SparkConf()
      .setAppName("UDF")
      .setMaster("local")
      .set("spark.testing.memory", "2147480000")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    // 构造模拟数据
    val names = Array("Leo", "Marry", "Jack", "Tom")
    val namesRDD = sc.parallelize(names, 5)
    val namesRowRDD = namesRDD.map{ name => Row(name) }
    val structType = StructType(Array(StructField("name", StringType, true)))
    val namesDF = sqlContext.createDataFrame(namesRowRDD, structType)

    // 注册一张names表
    namesDF.registerTempTable("names")

    // 定义和注册自定义函数
    // 定义函数:自己写匿名函数
    // 注册函数:sqlContext.usf.register()
    sqlContext.udf.register("strLen",(str: String) => str.length )

    // 使用自定义函数
    sqlContext.sql("select name, strLen(name) from names")
      .collect()
      .foreach(println)

  }
}

© 著作权归作者所有

共有 人打赏支持
别寒
粉丝 30
博文 271
码字总数 137605
作品 0
永州
程序员
php朝花夕拾之strlen mb_strlen的函数的区别

涉及到一个字符编码问题 gbk编码:一个汉字占两个字节 utf8编码:一个汉字占3个字节 案例: 面试题目: 关于汉字字符串的截取: 案例: 案例2: 注意,上个案例中,用自定义的函数计算字符串...

成越
2016/09/06
16
0
[android底层]jni中获取自定义的类函数编写

本案例中编写 android app中对应的jni函数 static native Student getStudent(); jni中获取自定义的类函数描述定向总结 定义一个char *指向自定义类 1、返回类型:jobject 2、获取自定义的类 ...

lilin9105
2014/06/05
0
0
类似 Spring 的开源框架 - JCute

JCute 是什么 jcue是一套功能类似Spring的开源框架,基于JDK1.6开发,实现了Spring的大部分功能,但用法相对Spring要简洁,整体采用注解方式,代码清晰,功能灵活,用户也可扩展基于xml文件或...

看-野生程序猿
04/15
0
0
AntDB重分布流程记录

案例1 概述 重分布前 重分布后 重分布CASE 重分布SQL 分片方式 分片函数 分片字段 分片节点 分片方式 分片函数 分片字段 分片节点 1、复制表重分布成复制表。 2、节点减少。 alter table t ...

Zaclu
01/30
1
0
Vue2.0笔记——自定义指令

自定义指令 自定义指令主要用于,除系统提供外,自己对DOM的底层操作。 例如当页面加载时需要将一个文本框为自动获得焦点。只要你在打开这个页面后还没点击过任何内容,这个输入框就应当还是...

逝岁月
04/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

阿里P8架构师深度概述分布式架构

简介 作为一名架构师,我们要专业,要能看懂代码,及时光着臂膀去机房,也能独挡一面!及时同事搞不定问题,或者撂挑子,你也能给老大一个坚定的眼神:不怕,有我在!还能在会议室上滔滔不绝...

java知识分子
14分钟前
0
0
zabbix利用自带的模板监控mysql数据库

zabbix利用自带的模板监控mysql数据库                                     作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 有些东...

linjin200
21分钟前
0
0
当刷新的Sandbox后,需要重新发布社区

当刷新的Sandbox后,需要重新发布社区 然后在登录页面设置中选择login/forgot password

在山的那边
22分钟前
0
0
Ubuntu 镜像文件下载

https://www.ubuntu.com/download/desktop

15834278076
25分钟前
0
0
解决php -v查看到版本于phpinfo()打印的版本不一致问题

一般造成这种原因可能是升级或多版本 用php -v 和phpinfo()查出来版本不一致,怎么解决呢 编辑/etc/profile文件在最后一行添加一个环境变量: export PATH="/usr/local/php/bin:$PATH" 最后保...

xiaogg
26分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部