hive处理json和url
博客专区 > JPblog 的博客 > 博客详情
hive处理json和url
JPblog 发表于6个月前
hive处理json和url
  • 发表于 6个月前
  • 阅读 19
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 十分钟定制你的第一个小程序>>>   

HIVE直接读入json

  • get_json_object(jsonStr, kn)

        返回值: 一个key对应的一个字段

        说明:解析json的字符串jsonStr,若输入的json字符串无效,则返回NULL。

        样例:表test,字段json_str存储了json字符串

{ "firstName": "Brett", "lastName":"McLaughlin", "email": "aaaa" }
{ "firstName": "jesse", "lastName":"AJ", "email": "bb" }

Hive处理语句:select get_json_object(json_str,'$.firstName') from origin_lefuwx.test t

  • json_tuple(jsonStr, k1, k2, ...)

        返回值:多个key对应的多个字段

        说明:比 get_json_object 高效,可以在一次调用中输入多个键

        样例:表test,字段json_str存储了json字符串

{ "firstName": "Brett", "lastName":"McLaughlin", "email": "aaaa" }
{ "firstName": "jesse", "lastName":"AJ", "email": "bb" }

HIVE处理语句:select json_tuple(json_str,'firstName','lastName','email') from origin_lefuwx.test t

 

 

HIVE直接读入url

  • parse_url(url, partToExtract[, key])

        partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]

样例:

http://192.168.111.23:8888/filebrowser/view=/DB/lefuwx/test/part-m-00000

Hive处理语句:select parse_url('http://192.168.111.23:8888/filebrowser/view=/DB/lefuwx/test/part-m-00000','HOST')

  • parse_url_tuple(url, k1,k2..)

        partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]

样例:

http://192.168.111.23:8888/filebrowser/view=/DB/lefuwx/test/part-m-00000

Hive处理语句:select parse_url_tuple('http://192.168.111.23:8888/filebrowser/view=/DB/lefuwx/test/part-m-00000','HOST','PATH')

标签: json hive url
共有 人打赏支持
粉丝 10
博文 48
码字总数 26366
×
JPblog
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: