文档章节

Apache Pig学习笔记(二)

九劫散仙
 九劫散仙
发布于 2015/02/13 19:45
字数 1238
阅读 146
收藏 1

 
主要整理了一下,pig里面的一些关键词的含义和用法,pig虽然是一种以数据流处理为核心的框架,但数据库的大部分关键词和操作,在pig里面基本上都能找到对应的函数,非常灵活与简洁,春节前的最后一篇文章了,祝大家春节快乐! 
1,保留关键字: 
-- A assert, and, any, all, arrange, as, asc, AVG 
-- B bag, BinStorage, by, bytearray, BIGINTEGER, BIGDECIMAL 
-- C cache, CASE, cat, cd, chararray, cogroup, CONCAT, copyFromLocal, copyToLocal, COUNT, cp, cross 
-- D datetime, %declare, %default, define, dense, desc, describe, DIFF, distinct, double, du, dump 
-- E e, E, eval, exec, explain 
-- F f, F, filter, flatten, float, foreach, full 
-- G generate, group 
-- H help 
-- I if, illustrate, import, inner, input, int, into, is 
-- J join 
-- K kill 
-- L l, L, left, limit, load, long, ls 
-- M map, matches, MAX, MIN, mkdir, mv 
-- N not, null 
-- O onschema, or, order, outer, output 
-- P parallel, pig, PigDump, PigStorage, pwd 
-- Q quit 
-- R register, returns, right, rm, rmf, rollup, run 
-- S sample, set, ship, SIZE, split, stderr, stdin, stdout, store, stream, SUM 
-- T TextLoader, TOKENIZE, through, tuple 
-- U union, using 
-- V, W, X, Y, Z Void 
2,大小写敏感,别名大小写敏感,关键字大小写都可以 例如,load,group,foreach与LOAD,GROUP,FOREACH是等价的 
3,别名定义(首位字符必须为字母,其他位置可以是字母,数字,下划线) 
4,集合类型 
Bags ,类似table,可以包含多个row 
Tuples,类似一行行row,可以有多个field 
Fields,具体的数据 
5,列名引用,在关系数据库中我们可以使用列名来定位到某一行数据的某个字段的值,在JDBC中,我们既可以通过列名引用,也可以通过索引下标引用,在pig里,也支持这两种引用,下标引用需要加上$0,$1这样的数字标识。 
6,数据类型 
(基本类型) 
Int:有符号32位整数 
Long:有符号64位整数 
Float:32位单精度 
Double:64位单精度 
Chararray:Java里面的字符串类型,必须是UTF-8编码 
Bytearray:blob字节类型 
Boolean:布尔类型 
Datetime:日期类型 
Biginteger:Java Bigingteger 
Bigdecimal:Java BigDecimal 
(集合类型) 
Tuple:一个有序的字段值集合,类似Java里面的List 
Bag:Tuple的集合,类似Java里面的Collection集合超级接口 
Map:Java里面的Map,K和V,直接使用#号分开,引用时需要加上#号 
7,运算符: 
(1) 比较运算符==,!=,<,>,>=,<= 
(2) 比较运算符matches,适合字符串,支持正则 
(3) 算术运算符+,-,*,/,%,?:,CASE 
(4) Null运算符is not null ,is null 
(5) 集合类型引用符号tuple(.),map(#) 
(6) 关系运算符cogroup,group,join 
(7) 函数count_star,sum,min,max,count,avg,concat,size 
8, 多数据源join时,别名区分,使用A::name,B::name 
9, fallten可以将一个集合类型,或嵌套的类型,给扁平化成一行,看下面例子 
B={(a,b,c),(b,b,c)} 
FLATTEN(B)之后 
a,b,c,b,b,c就成为一行数据了 
10,cogroup,多表分组使用 
11,cross,两个数据源链接,会产生笛卡尔集 
12,distinct,去重,与关系型数据库不同的是,不能对单个field去重,必须是一个row,如果你想对单filed去重,那么就需要先把这个filed,单独提取出来,然后在distinct 
13,filter,过滤,类似数据库的where条件,返回一个boolean值。 
14,foreach,迭代,抽取一列,或几列的数据, 
15,group,分组,类似数据库的group 
16,partition by,同等hadoop中Partition组件 
17,join,分内外连接,与关系型数据库类似,在hadoop中又分不同的连接方式:复制连接,合并连接,skewed连接等 
18,limit,限制结果集返回行数,与mysql中的limit关键字类似 
19,load,pig特有关键词,负责从一个指定的路径加载数据源,路径可以使用通配符与hadoop的路径通配符保持一致 
20,mapreduce,在pig中,以MR的方式执行一个jar包 
21,order by 与关系型数据库的order类似 
22,rank,给一个集合,生成序号,类似for循环时的索引自增 
23,sample,采样器,能从指定的数据集中随机抽取指定的记录数 
24,split,可以按条件拆分一个大的数据集,生成几个不同的小数据集 
25,store,pig里面的存储结果的函数,可以将一个集合以指定的存储方式,存储到指定的地方 
26,stream,提供了以流的方式可以在pig脚本中,与其他的编程语言交互,比如将pig处理的中间结果,传给python,perl,或者shell等等 
27,union,类似数据的union,合并两个结果集为一个结果集 
28,register,UDF中,使用此关键词注册我们的组件,可能是一个jar包,也可能是一个python文件 
29,define,给UDF的引用定义一个别名 
30,import,在一个pig脚本中,使用imprt关键词引入另外一个pig脚本 

© 著作权归作者所有

共有 人打赏支持
九劫散仙
粉丝 265
博文 175
码字总数 189625
作品 0
海淀
私信 提问
玩转大数据系列之Apache Pig高级技能之函数编程(六)

原创不易,转载请务必注明,原创地址,谢谢配合! http://my.oschina.net/u/1027043/blog Pig系列的学习文档,希望对大家有用,感谢关注散仙! Apache Pig的前世今生 Apache Pig如何自定义UDF...

九劫散仙
2015/03/18
0
0
Apache Pig 学习笔记

1.Pig安装 目前最新稳定版为pig-0.12.1,下载解压到/opt/tools/目录下。 由于pig是基于hadoop的上层应用,所以需要先部署好hadoop集群。对于hadoop-0.23.0以上的版本,pig虽然也已经支持,但...

voyage1314
2014/05/09
0
0
Hadoop、Pig、Hive、Storm、NoSQL 学习资源收集【Updating】

(一)hadoop 相关安装部署 1、hadoop在windows cygwin下的部署: http://lib.open-open.com/view/1333428291655 http://blog.csdn.net/ruby97/article/details/7423088 http://blog.csdn.n......

大数据之路
2013/06/25
0
3
Apache Pig和Solr问题笔记(一)

记录下最近两天散仙在工作中遇到的有关Pig0.12.0和Solr4.10.2一些问题,总共有3个,如下: (1)问题一: 如何Pig中使用ASCII和十六进制(hexadecimal)的分隔符进行加载,和切分数据? 注意...

九劫散仙
2015/04/02
0
0
Hadoop概括——学习笔记转

前言 第一章主要讲的是hadoop基础知识。老师讲的还是比较全面简单的,起码作为一个非专业码农以及数据库管理人员,也能狗大致了解其特点 首先是概括图(以hadoop2.0为例) 一、Hadoop基础架构...

长征2号
2017/10/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

0015-如何使用Sentry管理Hive外部表权限

1.文档编写目的 本文档主要讲述如何使用Sentry对Hive外部表权限管理,并基于以下假设: 1.操作系统版本:RedHat6.5 2.CM版本:CM 5.11.1 3.集群已启用Kerberos和Sentry 4.采用具有sudo权限的...

Hadoop实操
25分钟前
1
0
边缘计算与数据中心的发展趋势

导读 Gartner研究表明,人工智能、物联网和5G助力下一代商业创新,由此产生大量数据,2020年前企业将使用超过75亿台联网设备。 在几乎每个方面,社会的节奏都正变得更快。我们希望客户服务问...

问题终结者
37分钟前
4
0
toString();

package com.atguigu.java1; import java.util.Date; /** * toString()的使用: * * 1.java.lang.Object类中toString()定义如下: * public String toString() { return getClass().getName......

architect刘源源
今天
1
3
不可不说的Java“锁”事

前言 Java提供了种类丰富的锁,每种锁因其特性的不同,在适当的场景下能够展现出非常高的效率。本文旨在对锁相关源码(本文中的源码来自JDK 8)、使用场景进行举例,为读者介绍主流锁的知识点...

Java干货分享
今天
1
0
Java GoEasy 实现服务端推送和Web端推送

项目中需要消息推送,又想降低开发成本。Java服务器端推送,Web端接收推送信息。 具体需求: 需求一:系统框架实现全局异常捕获并录入日志表,实现实时推送消息到客户端页面展示。 需求二:系...

Gibbons
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部