文档章节

Pig-0.13.0的编译

悟空太多啦
 悟空太多啦
发布于 2014/09/06 22:01
字数 914
阅读 261
收藏 0

1、下载pig到本地目录,运行ant。

[wukong@bd23 pig-0.13.0]$ ant clean jar-withouthadoop -Dhadoopversion=23
Buildfile: build.xml
BUILD FAILED
/home/wukong/usr/pig-0.13.0/build.xml:750: Problem: failed to create task or type scriptdef
Cause: the class org.apache.tools.ant.taskdefs.optional.script.ScriptDef was not found.
        This looks like one of Ant's optional components.
Action: Check that the appropriate optional JAR exists in
        -/usr/share/ant/lib
        -/home/wukong/.ant/lib
        -a directory added on the command line with the -lib argument
Do not panic, this is a common problem.
The commonest cause is a missing JAR.
This is not a bug; it is a configuration problem

Total time: 1 second

2、失败的原因是centos自带的ant功能不全(这一步的ant报错可参考Hadoop集群中pig工具的安装过程记录)。解决办法是自行安装ant最新版本(这里安装的是ant-1.9.4)并配置环境变量。以下是参考配置方法

[wukong@bd23 apache-ant-1.9.4]$ pwd
/usr/local/apache-ant-1.9.4
[wukong@bd23 apache-ant-1.9.4]$ vim /etc/profile
......
export JAVA_HOME=/usr/local/jdk1.7.0_65
export ANT_HOME=/usr/local/apache-ant-1.9.4
export MAVEN_HOME=/usr/local/apache-maven-3.2.2
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$MAVEN_HOME/bin:$PATH

3、安装配置并source配置文件后,再次运行ant。经过大概一套煎饼果子加一碗豆腐脑的功夫,基本上就运行结束了。然后你会发现还是不对。。。

[wukong@bd23 pig-0.13.0]$ ant clean jar-withouthadoop -Dhadoopversion=23
...... 
[ivy:resolve]     http://repository.jboss.com/nexus/content/groups/public/org/mortbay/jetty/jetty/6.1.26/jetty-6.1.26.zip
[ivy:resolve]   ==== apache-snapshots: tried
[ivy:resolve]     http://repository.apache.org/content/groups/snapshots-group/org/mortbay/jetty/jetty/6.1.26/jetty-6.1.26.zip
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]           ::          UNRESOLVED DEPENDENCIES         ::
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]           :: com.sun.jersey#jersey-bundle;1.8: not found
[ivy:resolve]           :: com.sun.jersey#jersey-server;1.8: not found
[ivy:resolve]           :: com.sun.jersey.contribs#jersey-guice;1.8: configuration not found in com.sun.jersey.contribs#jersey-guice;1.8: 'master'. It was required from org.apache.pig#pig;0.13.1-SNAPSHOT hadoop23
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]           ::              FAILED DOWNLOADS            ::
[ivy:resolve]           :: ^ see resolution messages for details  ^ ::
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]           :: org.mortbay.jetty#jetty;6.1.26!jetty.zip
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve] :::: ERRORS
[ivy:resolve]   SERVER ERROR: Connection timed out url=http://repo2.maven.org/maven2/xmlenc/xmlenc/0.52/xmlenc-0.52-sources.jar
[ivy:resolve]   SERVER ERROR: Connection timed out url=http://repo2.maven.org/maven2/xmlenc/xmlenc/0.52/xmlenc-0.52-src.jar
[ivy:resolve]   SERVER ERROR: Connection timed out url=http://repo2.maven.org/maven2/xmlenc/xmlenc/0.52/xmlenc-0.52-javadoc.jar
[ivy:resolve]   SERVER ERROR: Connection timed out url=http://repo2.maven.org/maven2/com/sun/jersey/jersey-bundle/1.8/jersey-bundle-1.8.pom
[ivy:resolve]   SERVER ERROR: Connection timed out url=http://repo2.maven.org/maven2/com/sun/jersey/jersey-bundle/1.8/jersey-bundle-1.8.jar
[ivy:resolve]   SERVER ERROR: Backend is unhealthy url=http://repo2.maven.org/maven2/com/sun/jersey/jersey-server/1.8/jersey-server-1.8.pom
[ivy:resolve]   SERVER ERROR: Connection timed out url=http://repo2.maven.org/maven2/com/sun/jersey/jersey-server/1.8/jersey-server-1.8.jar
[ivy:resolve]   SERVER ERROR: Connection timed out url=http://repo2.maven.org/maven2/com/sun/jersey/contribs/jersey-guice/1.8/jersey-guice-1.8.pom
[ivy:resolve] 
[ivy:resolve] :: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS
BUILD FAILED
/home/wukong/usr/pig-0.13.0/build.xml:1599: impossible to resolve dependencies:
        resolve failed - see output for details
Total time: 13 minutes 25 seconds

4、导致以上问题的原因是下载jersey-1.8和jetty-6.1.26失败。所以要下载并且导入maven。导入命令如下

mvn install:install-file  -Dfile=外部包的路径 \
                          -DgroupId=外部包的groupId \
                          -DartifactId=外部包的artifactId \
                          -Dversion=外部包的版本号 \
                          -Dpackaging=jar
[wukong@bd23 pig-0.13.0]$ mvn install:install-file -Dfile=/home/wukong/res/jersey-archive-1.18.zip -DgroupId=com.sun.jersey -DartifactId=jersey-core -Dversion=1.8 -Dpackaging=zip
[wukong@bd23 pig-0.13.0]$ mvn install:install-file -Dfile=/home/wukong/res/jetty-6.1.26.zip -DgroupId=org.mortbay.jetty -DartifactId=jetty -Dversion=6.1.26 -Dpackaging=zip

5、导入后再次编译,发现还是不行。真泥马坑爹。。

[ivy:resolve] :: problems summary ::
[ivy:resolve] :::: WARNINGS
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]           ::          UNRESOLVED DEPENDENCIES         ::
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve]           :: com.sun.jersey.contribs#jersey-guice;1.8: configuration not found in com.sun.jersey.contribs#jersey-guice;1.8: 'master'. It was required from org.apache.pig#pig;0.13.1-SNAPSHOT hadoop23
[ivy:resolve]           ::::::::::::::::::::::::::::::::::::::::::::::
[ivy:resolve] 
[ivy:resolve] :: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS
BUILD FAILED
/home/wukong/usr/pig-0.13.0/build.xml:1599: impossible to resolve dependencies:
        resolve failed - see output for details

6、然后再在maven中安装jersey-guice-1.8

[wukong@bd23 pig-0.13.0]$ mvn install:install-file  -Dfile=/home/wukong/res/jersey-guice-1.8.jar -DgroupId=com.sun.jersey.contribs -DartifactId=jersey-guice -Dversion=1.8 -Dpackaging=jar

7、再次用ant build pig。终于过了!

© 著作权归作者所有

悟空太多啦

悟空太多啦

粉丝 20
博文 86
码字总数 72074
作品 1
南京
其他
私信 提问
编译java项目中dockerfile无法找见windows的jar包路径

这里我们需要清楚,单独的dockerfile 文件,也是可以进行编译的,只不过,他依赖的环境是docker 命令 docker build -t 镜像名称:镜像版本 -f 需要执行dockerfile地址 docker编译的上下文的地...

夜中孤影
2019/10/11
57
0
Apache Pig 学习笔记

1.Pig安装 目前最新稳定版为pig-0.12.1,下载解压到/opt/tools/目录下。 由于pig是基于hadoop的上层应用,所以需要先部署好hadoop集群。对于hadoop-0.23.0以上的版本,pig虽然也已经支持,但...

voyage1314
2014/05/09
874
0
使用apache pig 处理chukwa收集的数据

公司使用chukwa收集每个服务器数据的,数据收集到的hdfs以后被写成sequencefile,想用pig处理这些数据,pig本身不支持这种数据结构的,查看chukwa源码发现,本身有带有pig脚本,是hicc用来做数...

olive
2014/01/07
121
0
Apache Pig 概述

什么是Apache Pig? Apache Pig是MapReduce的一个抽象。它是一个工具/平台,用于分析较大的数据集,并将它们表示为数据流。Pig通常与 Hadoop 一起使用;我们可以使用Apache Pig在Hadoop中执行...

h8b6pk7m7r8
2017/11/25
0
0
Pig安装及本地模式测试,体验

Pig是Apache的一个开源项目,用于简化MapReduce的开发。研究了一段时间,略有心得。系废话不多说,我们直接步入实际测试。 Pig的运行有两种模式,本地单击模式和集群模式。我目前只是测试学习...

震秦
2013/04/14
3.9K
3

没有更多内容

加载失败,请刷新页面

加载更多

ZhaoWei-2020-01-18

Redis官方文档 简介 Redis是开源的(BSD许可)内存数据结构存储,用作数据库,缓存和消息代理。它支持数据结构,例如 字符串,哈希,列表,集合,带范围查询的排序集合,位图,超日志,带有半...

SuSheePark
19分钟前
11
0
替换字符串C#中的换行符

如何在C#中替换字符串中的换行符? #1楼 由于新行可以用\\n , \\r和\\r\\n分隔,因此我们首先将\\r和\\r\\n替换为\\n ,然后才拆分数据字符串。 以下几行应转到parseCSV方法: function p...

javail
21分钟前
6
0
快递物流上门取件api接口对接指南(中通圆通申通韵达百世)

1.常用快递API 支持顺丰、EMS、申通、圆通、韵达、汇通、中通、天天、德邦、全峰等主流快递公司。 上门取件,是电商平台为寄件用户提供的通过一键下单到快递员,并在2小时上门取件的寄件服务...

程序的小猿
25分钟前
6
0
WebFlux系列(十一)WebClient 日志

#Java#Spring#WebClient#WebFlux#log#日志# WebClient 日志 视频讲解 : https://www.bilibili.com/video/av83627944/ WebfluxConsumerApplication.java package com.example.webfluxconsumer......

潘文海
28分钟前
6
0
使用LINQ来获取一个List <>中的项目,而不是另一个List <>中的项目

我会假设有一个简单的LINQ查询可以做到这一点,但我不确定该如何做。 给出这段代码: class Program{ static void Main(string[] args) { List<Person> peopleList1 = new...

技术盛宴
36分钟前
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部