文档章节

Hadoop 之Job提交推演

d
 double大宝
发布于 2017/05/03 21:17
字数 118
阅读 18
收藏 0

Job提交推演:
    1.Job job = Job.getInstance();
    2.job.waitForCompletion();
        job.submit();
            submitter.submitJobInternal(Job.this, cluster);
                //检查目录是否存在
                checkSpecs(job);
                
                //准备hdfs上的Staging目录:/tmp/..../.staging
                JobSubmissionFiles.getStagingDir(cluster, conf);
                
                //得到jobId
                submitClient.getNewJobID();
                
                //构造提交job目录/tmp/..../.staging/job_xxx-000
                Path submitJobDir = new Path(jobStagingArea, jobId.toString());
                
                //复制与配置文件(jar)
                copyAndConfigureFiles(job, submitJobDir);
                
                //写入切割信息文件
                writeSplits(job, submitJobDir);
                
                //构造提交job文件路径
                Path submitJobFile = JobSubmissionFiles.getJobConfPath(submitJobDir);
                
                //写入配置文件
                writeConf(conf, submitJobFile);
                
                //提交作业
                submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials())

© 著作权归作者所有

d
粉丝 2
博文 86
码字总数 43479
作品 0
贵港
私信 提问
Hadoop Job的提交,到底提交了什么?

一个最基本的Hadoo任务 WordCountMapper: private final static IntWritable one = new IntWritable(1);@Overridepublic void map(LongWritable key, Text value, } WordCountReduce: @Over......

震秦
2013/09/22
6.6K
3
MapReduce V1:Job提交流程之JobClient端分析

我们基于Hadoop 1.2.1源码分析MapReduce V1的处理流程。 MapReduce V1实现中,主要存在3个主要的分布式进程(角色):JobClient、JobTracker和TaskTracker,我们主要是以这三个角色的实际处理...

脸大的都是胖纸
2015/10/09
543
0
Hadoop作业引用第三方jar文件

在eclipse中写mapreduce程序, 引用第三方jar文件, 可以利用eclipse Hadoop插件直接run on hadoop提交, 很方便. 不过插件版本要和eclipse匹配, 不然总是local执行, 在50070是没有job产生的. 如...

Zero零_度
2015/10/29
199
0
一脸懵逼学习MapReduce的原理和编程(Map局部处理,Reduce汇总)和MapReduce几种运行方式

1:MapReduce的概述:   (1):MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题.   (2):MapReduce由两个阶段组成:Map和Reduce,用户只需要...

别叫小伙
2017/09/18
0
0
hadoop 平台运行mapreduce代码

WordCount是写hadoop mapreduce入门级程序,会写wordcount的话,基本上80%的mapreduce就懂了。 mapreduce分为map过程和reduce过程,用户可以根据自己的业务自定义map过程和reduce过程。 以w...

leiline
2018/01/14
15
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
7
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
4
0
mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
昨天
10
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
昨天
9
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部