文档章节

SparkSQLUDF自定义函数案例

别寒
 别寒
发布于 2017/07/31 14:28
字数 149
阅读 18
收藏 0
package com.hhb.spark.sql

import org.apache.spark.sql.{Row, SQLContext}
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.types.{StructField, _}

/**
  * Created by dell on 2017/7/31.
  */
object UDF {
  def main(args: Array[String]) {
    val conf = new SparkConf()
      .setAppName("UDF")
      .setMaster("local")
      .set("spark.testing.memory", "2147480000")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    // 构造模拟数据
    val names = Array("Leo", "Marry", "Jack", "Tom")
    val namesRDD = sc.parallelize(names, 5)
    val namesRowRDD = namesRDD.map{ name => Row(name) }
    val structType = StructType(Array(StructField("name", StringType, true)))
    val namesDF = sqlContext.createDataFrame(namesRowRDD, structType)

    // 注册一张names表
    namesDF.registerTempTable("names")

    // 定义和注册自定义函数
    // 定义函数:自己写匿名函数
    // 注册函数:sqlContext.usf.register()
    sqlContext.udf.register("strLen",(str: String) => str.length )

    // 使用自定义函数
    sqlContext.sql("select name, strLen(name) from names")
      .collect()
      .foreach(println)

  }
}

© 著作权归作者所有

别寒
粉丝 30
博文 273
码字总数 155300
作品 0
永州
程序员
私信 提问
加载中

评论(0)

Python 操作mysql数据库之 SQLAlchemy 案例详解

前言: 字段声明类型中,最右边的是数据库中对应的字段,我们依然可以使用,其左边的的 SQLAchemy 则是其自身封装的自定义类型。 本篇不会讲太多的理论知识,因为这个实用性更强,所以通篇全...

osc_869quh0r
2019/07/25
1
0
在ecshop模板使用自定义函数

https://blog.csdn.net/shaolinld/article/details/46400485 在ecshop模板使用自定义函数 可以增加自定义函数,在模板直接调用,例如: {$userId|getusername} 或{$imgUrl|setwidthheight:1...

osc_4edlv799
2018/06/26
0
0
使用ivx实现日期格式转换的经验总结

在案例展示中经常包含日期这一信息,而在不同的应用场景下对日期的格式要求也不尽相同。其实日期最终的展示结果本质上还是一个字符串,我们要做的只是把日期截取然后组合成与标准模型一致的样...

iVX研究所
04/03
0
0
php朝花夕拾之strlen mb_strlen的函数的区别

涉及到一个字符编码问题 gbk编码:一个汉字占两个字节 utf8编码:一个汉字占3个字节 案例: 面试题目: 关于汉字字符串的截取: 案例: 案例2: 注意,上个案例中,用自定义的函数计算字符串...

成越
2016/09/06
32
0
Python入门篇-函数、参数及参数解构

            Python入门篇-函数、参数及参数解构                                       作者:尹正杰 版权声明:原创作品,谢绝转载!...

osc_uewtwxky
2019/05/31
2
0

没有更多内容

加载失败,请刷新页面

加载更多

web测试与app测试的区别

web测试与app测试的区别 首先从系统架构来看的话: web项目,一般都是b/s架构,基于浏览器的,而app则是c/s的,必须要有客户端。那么在系统测试测试的时候就会产生区别了。 web测试只要更新了...

osc_qo89by3k
36分钟前
16
0
【mysql 读写分离】10分钟了解读写分离的作用

1、什么是读写分离 读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集...

努力的学渣
37分钟前
27
0
Sphinx和rst在科研笔记和学术博客中的高效用法

什么是RST? reStructuredText 是扩展名为 .rst 的纯文本文件,含义为"重新构建的文本",也被简称为:RST 或 reST; 是 Python 编程语言的 Docutils 项目的一部分,Python Doc-SIG (Documen...

osc_6b3uvobr
37分钟前
17
0
MySQL 的 crash-safe 原理解析

本文首发于 vivo互联网技术 微信公众号 链接:https://mp.weixin.qq.com/s/5i9wmJs4_Er7RaYfNnETyA 作者:xieweipeng MySQL作为当下最流行的开源关系型数据库,有一个很关键和基本的能力,就...

vivo互联网技术
38分钟前
23
0
Org Mode - 年轻人的第一堂时间管理课程

忙成狗,闲成猪。 上半年我的状态就是如此,为了做出改变我找了很多的任务管理工具,比如奇妙清单、滴答清单(现在我还在用)等等,但是依然没有满足我的需求。作为一名精力旺盛的开发仔,我...

osc_smzoc82r
38分钟前
19
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部