文档章节

hive处理json和url

JPblog
 JPblog
发布于 2017/04/10 17:32
字数 258
阅读 80
收藏 0

HIVE直接读入json

样例:表test,字段json_str存储了json字符串

{ "firstName": "Brett", "lastName":"McLaughlin", "email": "aaaa" }
{ "firstName": "jesse", "lastName":"AJ", "email": "bb" }
  • get_json_object(jsonStr, kn)

        返回值: 一个key对应的一个字段

        说明:解析json的字符串jsonStr,若输入的json字符串无效,则返回NULL。

Hive处理语句:select get_json_object(json_str,'$.firstName') from test t

  • json_tuple(jsonStr, k1, k2, ...)

        返回值:多个key对应的多个字段

        说明:比 get_json_object 高效,可以在一次调用中输入多个键

HIVE处理语句:select json_tuple(json_str,'firstName','lastName','email') from test t

 

 

HIVE直接读入url

样例:表test1,字段url_str存储了url字符串

http://192.168.111.23:8888/filebrowser/view=/DB/lefuwx/test/part-m-00000
  • parse_url(url, partToExtract[, key])

        partToExtract选项[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]

Hive处理语句:select parse_url(url_str,'HOST') from .test1 t

  • parse_url_tuple(url, k1,k2..)

        partToExtract选项[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]

Hive处理语句:select parse_url_tuple(url_str,'HOST','PATH') from test1 t

© 著作权归作者所有

共有 人打赏支持
JPblog
粉丝 11
博文 60
码字总数 37444
作品 0
朝阳
程序员
Hive 在多维统计分析中的应用 & 技巧总结

本文原地址:https://my.oschina.net/leejun2005/blog/121945 多维统计一般分两种,我们看看 Hive 中如何解决: 1、同属性的多维组合统计 (1)问题: 有如下数据,字段内容分别为:url, ca...

SimplePoint
2017/04/18
0
0
Hive 在多维统计分析中的应用 & 技巧总结

多维统计一般分两种,我们看看 Hive 中如何解决: 1、同属性的多维组合统计 (1)问题: 有如下数据,字段内容分别为:url, catePath0, catePath1, catePath2, unitparams https://cwiki.ap...

大数据之路
2013/04/11
0
0
利用大数据技术分析新浪财经美股行情

学习大数据技术有一段时间了,之前也写过一些零零散散的博客,作为自己学习的一些记录,不过每篇博客都只是涵盖部分技术。这次想写一篇比较完整的博客,记录一个完整的项目从头到尾生产的过程...

teaGod
2017/12/14
0
0
[Hive]JsonSerde使用指南

注意: 重要的是每行必须是一个完整的JSON,一个JSON不能跨越多行,也就是说,serde不会对多行的Json有效。 因为这是由Hadoop处理文件的工作方式决定,文件必须是可拆分的,例如,Hadoop将在...

Mr_yul
10/17
0
0
hive最新UDF函数(2016-10-25)

hive UDF函数 :(后期翻译,暂时先贴着,有兴趣来 http://apache.wiki 可以一起来翻译呀) https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 不过这个基本是不需要什么...

片刻
2016/10/25
83
0

没有更多内容

加载失败,请刷新页面

加载更多

deepin系统使用deepin-wine安装exe程序

deepin自带原生deepin-wine使用命令如下: deepin-wine QQMusicSetup.exe deepin-wine的程序位置: /root/.wine 默认安装的QQ浏览器快捷方式位置: /root/.wine/drive_c/'Program Files'/Te...

临江仙卜算子
40分钟前
1
0
快速get到学习Linux操作系统的点

快速get到学习Linux操作系统的点 Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能够运行主要的UNIX工具软件...

linuxCool
46分钟前
2
0
聊聊:Linux分区的那些方案

安装linux的整体步骤其实比较简单,唯一可能值得说明的地方,大概就是linux的分区了。 下面来给大家推荐一些分区方案。 1 分两个区 实际上,很多时候我们只需要分两个区:`/`和交换分区,日常...

Linux就该这么学
57分钟前
1
0
适配器模式和外观模式

适配器模式: 将一个类的接口,转换成客户期望的另一个接口。适配器让原本不兼容的类可以合作无间。 例子: //将Enumeration转换成Iteratorpublic class EnumerationIterator implements Iter...

王怀楼
59分钟前
2
0
7-CXF与Spring整合发布webservice

Spring+CXF整合来管理webservice 实现步骤: 1. 添加cxf.jar 包(集成了Spring.jar、servlet.jar ),spring.jar包 ,servlet.jar 包 2. 编写业务类,通过CXF来发布webservice 员工管理: 方法...

江戸川
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部