Hadoop 之Job提交推演

原创
2017/05/03 21:17
阅读数 25

Job提交推演:
    1.Job job = Job.getInstance();
    2.job.waitForCompletion();
        job.submit();
            submitter.submitJobInternal(Job.this, cluster);
                //检查目录是否存在
                checkSpecs(job);
                
                //准备hdfs上的Staging目录:/tmp/..../.staging
                JobSubmissionFiles.getStagingDir(cluster, conf);
                
                //得到jobId
                submitClient.getNewJobID();
                
                //构造提交job目录/tmp/..../.staging/job_xxx-000
                Path submitJobDir = new Path(jobStagingArea, jobId.toString());
                
                //复制与配置文件(jar)
                copyAndConfigureFiles(job, submitJobDir);
                
                //写入切割信息文件
                writeSplits(job, submitJobDir);
                
                //构造提交job文件路径
                Path submitJobFile = JobSubmissionFiles.getJobConfPath(submitJobDir);
                
                //写入配置文件
                writeConf(conf, submitJobFile);
                
                //提交作业
                submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials())

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部