文档章节

Windows eclipse 本地运行Hadoop工程

datadev_sh
 datadev_sh
发布于 2017/06/18 12:57
字数 476
阅读 14
收藏 0

新建Hadoop项目的几种方式

一、新建一个java project,把Hadoop的jar包都复制进入

二、新建一个Maven 工程,通过pom文件引入依赖jar包。

三、安装hadoop-eclipse-plugin-x.x.x,新建一个Map/Reduce Project 。

 

注意

项目中,要加一个log4j.properties的配置文件,否则运行项目时,只能看到几条警告,看不到项目运行日志。

文件在Hadoop包里面也有。

 

一、Java Project

jar在哪找?

在hadoop-x.x.x\share\hadoop\目录下有各种jar。用到什么jar就导入什么jar包。

二、Maven Project

引入如下等依赖,这几个依赖又依赖了其它的jar,所以最终会看到maven自动引入了很多jar包。

        <dependency>  
            <groupId>org.apache.hadoop</groupId>  
            <artifactId>hadoop-client</artifactId>  
            <version>2.6.0</version>  
        </dependency>  
        <dependency>  
            <groupId>org.apache.hadoop</groupId>  
            <artifactId>hadoop-common</artifactId>  
            <version>2.6.0</version>  
        </dependency>   
        <dependency>  
            <groupId>org.apache.hadoop</groupId>  
            <artifactId>hadoop-hdfs</artifactId>  
            <version>2.6.0</version>  
        </dependency>

 

三、Map/Reduce Project

1、安装插件步

参考:

Eclipse搭建hadoop开发环境 http://blog.csdn.net/antgan/article/details/52068161

解决 hadoop-eclipse-plugin NullPointerException https://my.oschina.net/datadev/blog/956667

 

2、新建工程

会自动引入jar包。

 

运行

1、在本地运行

2、放到Hadoop插件连接的hdfs上运行。

本地工作目录

hadoop会在本地新建一个工作目录

报错

1、没有加log4j配置文件

log4j:WARN No appenders could be found org.apache.hadoop.metrics2.lib.MutableMetricsFactory

log4j:WARN Please initialize the log4j system properly.

log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

 

2、HADOOP_HOME是null

没有配置Windows环境变量,或者配置了没有生效。刚配置的要重启后生效。

17/06/18 12:05:18 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

参考:

Could not locate executable null 解决办法 

 

© 著作权归作者所有

上一篇: 垃圾收集算法
datadev_sh
粉丝 1
博文 18
码字总数 10554
作品 0
静安
程序员
私信 提问
MR程序Debug调式或者运行模式

问题描述:在开发MR程序中会遇一些问题需要通过Debug调式,那么本文将介绍描述配置eclipse如何在Windows或者Linux下启动Debug调式。 MR程序的Debug调式换言之就是MR程序的运行模式,MR程序有...

datapro
2015/06/03
833
0
Hadoop中MR程序的几种提交运行模式

本地模型运行 1:在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下(c:/wc/srcdata/) ----输入输出数据也可以放...

刘洋intsmaze
2016/06/24
0
0
Hadoop之MapReduce的Java实现

今天将为大家演示一下,Hadoop中MR用Java是如何编码实现的。 1.环境准备 1.1 需要把下载的hadoop包解压到windows目录下,注意不要有空格目录或者中文字符 image.png 1.2 配置环境变量 配置系...

landy8530
2017/11/25
0
0
eclipse上搭建hadoop开发环境

一、概述 1.实验使用的Hadoop集群为伪分布式模式,eclipse相关配置已完成; 2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。 二、使用eclipse连接hadoop集群进行开发 1.在开发主...

一语成谶灬
2017/09/07
0
0
Windows Eclipse Hadoop 开发

eclipse添加hadoop-eclipse-plugin插件 下载: hadoop2x-eclipse-plugin Hadoop-2.5.2和hadoop-2.6.4版本选择hadoop-eclipse-plugin-2.6.0.jar(亲测可用) 将hadoop-eclipse-plugin-2.6.0.j......

颓废的幻想者
2016/05/26
69
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
3
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
4
0
mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
昨天
10
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
昨天
7
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部