文档章节

Windows下Eclipse安装Hadoop插件

k
 kunping
发布于 2017/01/08 00:25
字数 436
阅读 151
收藏 0

1、下载hadoop-eclipse-plugin-2.7.3插件,并解压

2、将hadoop-eclipse-plugin-2.7.3.jar拷贝到${ECLIPSE_HOME}下的plugins文件夹,

     并重启eclipse,即可出现以下视图:

    

3、将hadoop-eclipse-plugin-2.7.3下的bin目录所有文件拷贝到window下的Hadoop目录下的bin目录中

4、同时将bin目录下的hadoop.dll拷贝到C:\windows\system32目录下

5、eclipse配置hadoop安装目录

    

6、创建Hadoop Location

    

7、运行WordCount实例

    1. 创建输入目录input,并上传数据文件input.txt,不可创建输出文件夹,不然会报错

    

    2. 配置运行参数(如下图),最后点击run即可

        说明:input指的的文件夹,直接挂在"/"目录下,与hdfs://192.168.241.129:9000/input对应

    

3. 输入结果如下图

    

4. 附:WordCount.java源码

package com.hadoop.example;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class WordCount {

	public static class TokenizerMapper extends
			Mapper<Object, Text, Text, IntWritable> {

		private final static IntWritable one = new IntWritable(1);
		private Text word = new Text();

		public void map(Object key, Text value, Context context)
				throws IOException, InterruptedException {
			StringTokenizer itr = new StringTokenizer(value.toString());
			while (itr.hasMoreTokens()) {
				word.set(itr.nextToken());
				context.write(word, one);
			}
		}
	}

	public static class IntSumReducer extends
			Reducer<Text, IntWritable, Text, IntWritable> {
		private IntWritable result = new IntWritable();

		public void reduce(Text key, Iterable<IntWritable> values,
				Context context) throws IOException, InterruptedException {
			int sum = 0;
			for (IntWritable val : values) {
				sum += val.get();
			}
			result.set(sum);
			context.write(key, result);
		}
	}

	public static void main(String[] args) throws Exception {
		System.setProperty("HADOOP_USER_NAME", "root");
		System.setProperty("hadoop.home.dir", "D:/install/hadoop-2.7.3");
//		System.setProperty("yarn.resourcemanager.address", "master:8032");
		System.setProperty("yarn.resourcemanager.hostname", "master");
		Configuration conf = new Configuration();
		String[] otherArgs = new GenericOptionsParser(conf, args)
				.getRemainingArgs();
		if (otherArgs.length < 2) {
			System.err.println("Usage: wordcount <in> [<in>...] <out>");
			System.exit(2);
		}
		Job job = Job.getInstance(conf, "word count");
		job.setJarByClass(WordCount.class);
		job.setMapperClass(TokenizerMapper.class);
		job.setCombinerClass(IntSumReducer.class);
		job.setReducerClass(IntSumReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		for (int i = 0; i < otherArgs.length - 1; ++i) {
			FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
		}
		FileOutputFormat.setOutputPath(job, new Path(
				otherArgs[otherArgs.length - 1]));
		System.exit(job.waitForCompletion(true) ? 0 : 1);
	}
}

5、可打成Runnable JarFile包运行

#可运行包执行命令:hadoop jar {jar} {input} {output}
hadoop jar WordCount.jar hdfs://192.168.241.129:9000/input hdfs://192.168.241.129:9000/output

 

© 著作权归作者所有

k
粉丝 3
博文 61
码字总数 29867
作品 0
深圳
私信 提问
编译hadoop2.x的hadoop-eclipse-plugin和配置

一、编译 1.安装jdk,并且配置好环境变量。 2.eclipse已经下载并且配置好了。 3.安装ant,并且配置好了环境变量。 4.hadoop包在windows本地已经有了,要和hadoop集群上的hadoop包一样,eclip...

cjun1990
2015/07/06
425
0
hadoop的eclipse安装

1、将插件放到eclipse的plugins目录(安装插件),E:javaEclipseplugins 2、将hadoop-common-2.2.0-bin-master.zip 解压到相应目录E:javaEclipseworkspacehadoophadoop-common-2.2.0-bin-mas......

萧小蚁
2015/12/02
81
0
hadoop搭建之hadoop连接eclipse

1、下载插件(连接插件) hadoop-eclipse-plugin-2.7.2.jar 2、配置插件: 将下载的插件(不解压)放到..eclipseplugins目录下,重启eclipse,配置Hadoop 3、配置hadoop 如果插件安装成功,打...

伊人心
02/20
0
0
Eclipse搭建hadoop开发环境[hadoop-eclipse-plugin-2.8.2]

一、解压安装hadoop2.8.2.tar.gz,并配置相关文件。 二、安装插件 将hadoop-eclipse-plugin-2.8.2.jar,复制到eclipse安装目录下的plugins下。如:D:eclipse4plugins 重启Eclipse。 点击菜单...

费氏家族
2017/11/01
100
0
eclipse 本地连接hadoop 进行开发

们平时用的机器一般装的都是windows系统,如果能在windows系统下面直接调试hadoop程序,那将是极好的 1. eclipse 安装hadoop 插件 首先, 下载hadoop 的eclipse插件 一个jar包 下载链接是这里...

KongFanhao
2016/06/02
86
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
今天
2.4K
15
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
41
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
40
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
61
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
21
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部