文档章节

mapreduce如何调用第三方jar包

Zero零_度
 Zero零_度
发布于 2015/09/06 15:06
字数 1046
阅读 133
收藏 0

MapReduce程式调用第三方包:我在使用过程中需要用到hbase的jar包,若要使用,常规是添加到每台机器的classpath中,但是 通过DistributeCache,在初始化前加入就ok了。要不就要将这些jar包打成一个新jar,通过hadoop jar  XXX.jar运行,但是不利于代码更新和维护。

解决方法介绍:

我们知道,在Hadoop中有一个叫做DistributedCache的东东,它是用来分发应用特定的只读文件和一个jar包的,以供Map- Reduce框架在启动任务和运行的时候使用这些缓冲的文件或者是把第三方jar包添加到其classpath路径中去,要注意的是 DistributedCache的使用是有一个前提的,就它会认为这些通过urls来表示的文件已经在hdfs文件系统里面,所以这里在使用的时候第一 步就是要把这些文件上传到HDFS中。


然后Hadoop框架会把这些应用所需要的文件复制到每个准备启动的节点上去,它会把这些复制到mapred.temp.dir配置的目录中去,以供相应的Task节点使用。


这里要注意的DistriubtedCache分发的文件分成公有与私有文件,公有文件可以给HDFS中的所有用户使用,而私有文件只能被特定的用户所使用,用户可以配置上传文件的访问权限来达到这种效果。

public boolean run(Configuration conf, String inputPath, String outPath,String category)
    throws Exception {
        Job job = new Job(conf, "DIP_DIPLOGFILTER-"+category);
        DistributedCache.addFileToClassPath(new Path("/libs/hbase-0.92.1-cdh4.0.0-security.jar"), job.getConfiguration());
        job.setJarByClass(AnalysisLoader.class);


        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);

        job.setMapperClass(AnalysisMapper.class);
        job.setMapOutputKeyClass(ComplexKey.class);
        job.setMapOutputValueClass(Text.class);

        job.setPartitionerClass(ComplexKeyPartitioner.class);
//        job.setCombinerClass(AnalysisReducer.class);
        job.setReducerClass(AnalysisReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        job.setNumReduceTasks(LogConfig.reduceCount);
        String hdfs = ServerConfig.getHDFS();
        
        String[] inputPaths =inputPath.split(",");
        for (String p : inputPaths) {
            if (!p.startsWith(hdfs)) {
                p = hdfs + p;
            }
            MultipleInputs.addInputPath(job, new Path(p),TextInputFormat.class, AnalysisMapper.class);
        }
        
        FileOutputFormat.setOutputPath(job, new Path(outPath));
        
        return(job.waitForCompletion(true));
        
        
    }
DistributeCache的使用一般分成三步:
1. 配置应用程序的cache,把需要使用的文件上传到DFS中去
    

[html] view plaincopy

  1. $ bin/hadoop fs -copyFromLocal lookup.dat /myapp/lookup.dat    

  2. $ bin/hadoop fs -copyFromLocal map.zip /myapp/map.zip    

  3. $ bin/hadoop fs -copyFromLocal mylib.jar /myapp/mylib.jar  

  4. $ bin/hadoop fs -copyFromLocal mytar.tar /myapp/mytar.tar  

  5. $ bin/hadoop fs -copyFromLocal mytgz.tgz /myapp/mytgz.tgz  

  6. $ bin/hadoop fs -copyFromLocal mytargz.tar.gz /myapp/mytargz.tar.gz  



2. 配置JobConf
 

[html] view plaincopy

  1. JobConf job = new JobConf();  

  2. DistributedCache.addCacheFile(new URI("/myapp/lookup.dat#lookup.dat"),job); // 这里的lookup.dat加了一个符号连接  

  3. DistributedCache.addCacheArchive(new URI("/myapp/map.zip", job);  

  4. DistributedCache.addFileToClassPath(new Path("/myapp/mylib.jar"), job); // 这里是把相应的jar包加到Task的启动路径上去  

  5. DistributedCache.addCacheArchive(new URI("/myapp/mytar.tar", job);  

  6. DistributedCache.addCacheArchive(new URI("/myapp/mytgz.tgz", job);  

  7. DistributedCache.addCacheArchive(new URI("/myapp/mytargz.tar.gz", job);  





3. 在Mapper或者Reducer任务中使用这些文件
    

[html] view plaincopy

  1. public static class MapClass extends MapReduceBase    

  2.     implements Mapper<K, V, K, V> {  

  3.       

  4.       private Path[] localArchives;  

  5.       private Path[] localFiles;  

  6.         

  7.       public void configure(JobConf job) {  

  8.         // Get the cached archives/files  

  9.         localArchives = DistributedCache.getLocalCacheArchives(job);  // 得到本地打包的文件,一般是数据文件,如字典文件  

  10.         localFiles = DistributedCache.getLocalCacheFiles(job);        // 得到本地缓冲的文件,一般是配置文件等  

  11.       }  

  12.         

  13.       public void map(K key, V value,   

  14.                       OutputCollector<K, V> output, Reporter reporter)   

  15.       throws IOException {  

  16.         // Use data from the cached archives/files here  

  17.         // ...  

  18.         // ...  

  19.         output.collect(k, v);  

  20.       }  

  21.     }  





使用新的MP接口要注意的地方:

1. 我们知道,新的MP接口使用了Job这个类来对MP任务进行配置,这里使用的时候要注意一点
   Configuration conf = new Configuration();
   // 对conf加入配置信息  - 正确方法
   Job job = new Job(conf,"word count");
   // 对conf加入配置信息 - 这是有问题的,这些配置不会生效,因为这里生成Job的时候它会对conf进行复制,这个看一下Job的源代码就知道。
   // 这里可以用job.getConfiguration()来得到其内部的conf对象,这样就不会有问题。


2. 如果你在启动MP任务之前调用了第三方jar包的类,那这就会有问题,会在启动任务的时候找不到这个类。这个问题我还没有找到好的解决办法,一个办法就是 把这些类想办法移到MP任务中,如果有朋友知道更加好的办法,请告诉我一下,多谢了。我感觉Nutch中也会有同样的问题,什么时候研究一下Nutch的 代码,说不定会有很多关于Hadoop方面的收获。


本文转载自:http://blog.csdn.net/evo_steven/article/details/14520567

Zero零_度
粉丝 69
博文 1267
码字总数 263854
作品 0
程序员
私信 提问
mapreduce第三方jar

@iDestiny 你好,想跟你请教个问题:hadoop2.2.0,在mapreduce将结果写入hbase中,报错找不到HbaseConfigureation ,我试过在-libjars中添加相关jar和将相关的jar打包到我的jar中,都不能解决...

xp19901010
2014/03/31
351
0
如何分布式运行mapreduce程序

如何分布式运行mapreduce程序 一、 首先要知道此前提 若在windows的Eclipse工程中直接启动mapreduc程序,需要先把hadoop集群的配置目录下的xml都拷贝到src目录下,让程序自动读取集群的地址后...

Zero零_度
2015/09/06
245
0
E-MapReduce上如何采集Kafka客户端Metrics

1. 背景 我们知道Kafka提供一套非常完善的Metrics数据,覆盖Broker,Consumer,Producer,Stream以及Connect。E-MapReduce通过Ganglia收集了Kafka Broker metrics信息,可以很好地监控Broke...

鱼跟猫
2018/08/09
0
0
Hadoop作业引用第三方jar文件

在eclipse中写mapreduce程序, 引用第三方jar文件, 可以利用eclipse Hadoop插件直接run on hadoop提交, 很方便. 不过插件版本要和eclipse匹配, 不然总是local执行, 在50070是没有job产生的. 如...

Zero零_度
2015/10/29
199
0
【hadoop】16.MapReduce-简介

简介 本章节我们先来了解一些关于MapReduce的理论知识。从本章节您可以学习到:MapReduce的相关知识。 1、概念 Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析...

Areya
01/12
23
0

没有更多内容

加载失败,请刷新页面

加载更多

CSS盒子模型

一、什么叫框模型 页面元素皆为框(盒子) 定义了元素框处理元素内容,内边距,外边距以及边框的计算方式 二、外边距 围绕在元素边框外的空白距离(元素与元素之间的距离) 语法:margin,定...

wytao1995
今天
4
0
Replugin借助“UI进程”来快速释放Dex

public static boolean preload(PluginInfo pi) { if (pi == null) { return false; } // 借助“UI进程”来快速释放Dex(见PluginFastInstallProviderProxy的说明) return PluginFastInsta......

Gemini-Lin
今天
4
0
Hibernate 5 的模块/包(modules/artifacts)

Hibernate 的功能被拆分成一系列的模块/包(modules/artifacts),其目的是为了对依赖进行独立(模块化)。 模块名称 说明 hibernate-core 这个是 Hibernate 的主要(main (core))模块。定义...

honeymoose
今天
4
0
精华帖

第一章 jQuery简介 jQuery是一个JavaScript库 jQuery具备简洁的语法和跨平台的兼容性 简化了JavaScript的操作。 在页面中引入jQuery jQuery是一个JavaScript脚本库,不需要特别的安装,只需要...

流川偑
今天
7
0
语音对话英语翻译在线翻译成中文哪个方法好用

想要进行将中文翻译成英文,或者将英文翻译成中文的操作,其实有一个非常简单的工具就能够帮助完成将语音进行翻译转换的软件。 在应用市场或者百度手机助手等各大应用渠道里面就能够找到一款...

401恶户
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部