文档章节

Spark SQL 支持的Hive内置函数

绝世武神
 绝世武神
发布于 2016/12/20 18:50
字数 207
阅读 249
收藏 0

数学函数

  • round
  • bround
  • floor
  • ceil
  • rand
  • exp
  • log
  • pow
  • sqrt
  • bin
  • hex
  • unhex
  • abs
  • pmod
  • sin
  • asin
  • cos
  • acos
  • tan
  • atan
  • degrees
  • radians
  • signum
  • factorial
  • cbrt
  • shiftleft
  • shiftright
  • shiftrightunsigned
  • greatest
  • least

集合函数

  • size
  • array_contains
  • sort_array

类型转换函数

日期函数

  • from_unixtime
  • unix_timestamp
  • to_date
  • year
  • quarter
  • month
  • dayofmonth
  • dayofyear
  • hour
  • minute
  • second
  • weekofyear
  • datediff
  • date_add
  • date_sub
  • from_utc_timestamp
  • to_utc_timestamp
  • current_date
  • current_timestamp
  • add_months
  • last_day
  • next_day
  • trunc
  • months_between
  • date_format

条件函数

  • nvl
  • COALESCE
  • when
  • isnull

字符函数

  • ascii
  • base64
  • concat
  • concat_ws
  • decode
  • encode
  • format_number
  • get_json_object
  • instr
  • length
  • locate
  • lower
  • lpad
  • ltrim
  • format_string 对应Hive中的 printf
  • regexp_extract
  • regexp_replace
  • repeat
  • reverse
  • rpad
  • rtrim
  • split
  • substring 对应Hive中的 substr
  • substring_index
  • translate
  • trim
  • unbase64
  • upper
  • initcap
  • levenshtein
  • soundex

聚合函数

  • count
  • sum
  • avg
  • min
  • max
  • variance
  • var_samp
  • stddev_pop
  • stddev_samp
  • covar_pop
  • covar_samp
  • corr

表生成函数

  • explode
  • posexplode
  • json_tuple

窗口函数

  • NTILE
  • ROW_NUMBER
  • RANK
  • DENSE_RANK
  • CUME_DIST
  • PERCENT_RANK
  • LAG
  • LEAD

参考链接:

Hive2.0函数大全

hive函数大全及使用示例

spark/sql/core/src/main/scala/org/apache/spark/sql/functions.scala

© 著作权归作者所有

绝世武神
粉丝 20
博文 33
码字总数 48343
作品 0
海淀
程序员
私信 提问
spark1.4.1配置及源码阅读

1.创建脚本 cd /opt/spark-1.4.1-bin-hadoop2.6/confcp spark-env.sh.template spark-env.shcp slaves.template slaves 2.程序加入环境变量 vi spark-env.sh export JAVAHOME=/opt/jdk1.7.07......

以诚相待
2015/08/11
228
0
Apache Spark 2.4.0 正式发布

Apache Spark 2.4 与昨天正式发布,Apache Spark 2.4 版本是 2.x 系列的第五个版本。 如果想及时了解 Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号: itebloghadoop Apache Spa...

Spark
2018/11/09
0
0
hive,shark,sparkSQL,hive on spark,impala,drill比较

Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive:hive介绍,实际的一些操作可以看这篇笔记:新手的Hive指南,至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优...

hblt-j
2018/08/13
213
0
[Spark]Shark, Spark SQL, Hive on Spark以及SQL On Spark的未来

随着的引入以及的新功能(HIVE-7292)的引入,我们对这两个项目的立场以及它们与Shark的关系有了很多的关注。在今天的Spark Summit上,我们宣布我们正在停止的开发,并将资源全部集中在上,这...

sjf0115
2017/06/20
0
0
Spark 从零到开发(五)初识Spark SQL

Spark SQL是用于结构化数据处理的Spark模块。 与基本的Spark RDD API不同,Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。 在内部,Spark SQL使用此额外信息来执...

一个入门攻城狮
2018/11/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周四乱弹 —— 当你简历注水但还是找到了工作

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @花间小酌 :#今日歌曲推荐# 分享成龙的单曲《男儿当自强》。 《男儿当自强》- 成龙 手机党少年们想听歌,请使劲儿戳(这里) @hxg2016 :刚在...

小小编辑
今天
3K
22
靠写代码赚钱的一些门路

作者 @mezod 译者 @josephchang10 如今,通过自己的代码去赚钱变得越来越简单,不过对很多人来说依然还是很难,因为他们不知道有哪些门路。 今天给大家分享一个精彩的 GitHub 库,这个库整理...

高级农民工
昨天
5
0
用好项目管理工具,人人都可以成为项目经理

现在市面上的项目管理工具越来越多了,但是大多数都是一些协同工具或轻量项目管理工具。如果是多团队、跨部门使用或者企业级的项目管理,从管理思想到工具运用,需要适应企业的业务流程体系,...

cs平台
昨天
12
0
只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
70
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
32
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部