文档章节

Hadoop入门之Hadoop中的HelloWorld程序

ThinkStone
 ThinkStone
发布于 2014/02/27 10:22
字数 455
阅读 4084
收藏 11

在linux平台上执行wordcount,有官方示例,相应的jar包放在hadoop-2.0.0-cdh4.5.0\share\hadoop\mapreduce1下的hadoop-examples-2.0.0-mr1-cdh4.5.0.jar(注:本人用的是CDH4.5.0版本),我们首先需要准备好数据:

echo "Hello World Hello Hadoop" > 1.txt
echo "Hello Hadoop Bye  " >2.txt


然后把数据put到HDFS里:

hadoop fs -mkdir /input
hadoop fs -put /root/1.txt /input
hadoop fs -put /root/2.txt /input

再然后进入到jar所在的目录里“

cd hadoop-2.0.0-cdh4.5.0\share\hadoop\mapreduce1

执行命令:

hadoop jar hadoop-mapreduce-examples-2.0.0-cdh4.5.0.jar WordCount /input /output

其中,/output是执行结果输出目录。

到此,HelloWorld就顺利执行了,你可以用hadoop fs -cat  /output/part 命令来查看结果.

接下来,我们在看看在window上的eclipse如何执行。

首先贴出代码:

public class WordCount {
    // mapper
    public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
        private static IntWritable one = new IntWritable(1);

        private Text word = new Text();

        @Override
        public void map(LongWritable key, Text value, Context context) throws IOException,
                InterruptedException {
            String line = value.toString();
            StringTokenizer token = new StringTokenizer(line);
            while (token.hasMoreElements()) {
                word.set(token.nextToken());
                context.write(word, one);
            }

        };
    }

    // reduce
    public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {
        protected void reduce(Text key, Iterable<IntWritable> values, Context context)
                throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable value : values) {
                sum += value.get();
            }
            context.write(key, new IntWritable(sum));
        };
    }

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        System.setProperty("HADOOP_USER_NAME", "root");//这句话很重要,要不然会告你没有权限执行
        Job job = new Job(conf);
        
        String[] ioArgs = new String[] { "hdfs://192.168.1.101:7001/input",
                "hdfs://192.168.1.101:7001/output" };
        String[] otherArgs = new GenericOptionsParser(conf, ioArgs).getRemainingArgs();

        job.setJarByClass(WordCount.class);

        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

        job.setMapperClass(Map.class);
        job.setReducerClass(Reduce.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        System.exit(job.waitForCompletion(true) ? 0 : 1);

    }
}

然后在eclipse上点执行即可,在执行时可能发现jvm内存不够,添加-Xmx1024M参数执行即可。


© 著作权归作者所有

ThinkStone
粉丝 3
博文 1
码字总数 455
作品 0
沈阳
私信 提问
加载中

评论(1)

WilliamKZhy
WilliamKZhy
导入的jar包没有显示出来,只有代码,新手表示添加jar包真心难,总是有错误提示
Ubuntu下利用Myeclipse开发hadoop程序

开发的大环境是Ubuntu11.04,hadoop0.20.2,myeclipse9.1 首先要安装Myeclipse,在Ubuntu下安装Myeclipse和windows环境下安装的方法一样,下载myeclipse-9.1-offline-installer-linux.run然后...

混绅士
2018/06/28
0
0
2-Hadoop学习之旅-MapReduce

MapReduce设计理念 移动计算,而不是移动数据。 MapReduce之Helloworld(Word Count)处理过程 MapReduce的Split大小 max.split(200M) min.split(50M) block(128M) max(min.split,min(max.s......

SET
2016/09/10
118
1
逐行分析Hadoop的HelloWorld

学写代码的时候,我们总是先从helloworld开始写起,那么学习Hadoop,我们也必不可少的从helloworld开始,那么WordCount作为经典的Hadoop程序,可以作为我们庖丁解牛的材料,进而从代码的角度...

牧师-Panda
2016/11/06
45
0
Linux下使用Eclipse开发Hadoop应用程序 测试成功

参考:http://blog.sina.com.cn/s/blog62186b4601012acs.html HDFS 测试文件: 测试结果: 详细配置参考它的原文: Hadoop版本:hadoop-0.20.2 Eclipse版本:eclipse-java-helios-SR2-linux...

杨泽
2012/07/13
944
0
(高清,无码)全国第一部hadoop教程全发布,陆续更新中......

雷锋来了,hadoop教程合集! Hadoop从入门到上手企业开发第1天 http://pan.baidu.com/s/1c0vU0dq Hadoop从入门到上手企业开发第2天 http://pan.baidu.com/s/1gd5XKXX Hadoop从入门到上手企业...

大象分享
2015/02/25
1K
17

没有更多内容

加载失败,请刷新页面

加载更多

为什么要在网站中应用CDN加速?

1. 网页加载速度更快 在网站中使用CDN技术最直接的一个好处就是它可以加快网页的加载速度。首先,CDN加速的内容分发是基于服务器缓存的,由于CDN中缓存了不少数据,它能够给用户提供更快的页...

云漫网络Ruan
41分钟前
7
0
亚玛芬体育(Amer Sports)和信必优正式启动合作开发Movesense创新

亚玛芬体育和信必优正式启动合作开发Movesense创新,作为亚玛芬体育的完美技术搭档,信必优利用Movesense传感器技术为第三方开发移动应用和服务。 Movesense基于传感器技术和开放的API,测量...

symbiochina88
52分钟前
4
0
创龙TI AM437x ARM Cortex-A9 + Xilinx Spartan-6 FPGA核心板规格书

SOM-TL437xF是一款广州创龙基于TI AM437x ARM Cortex-A9 + Xilinx Spartan-6 FPGA芯片设计的核心板,采用沉金无铅工艺的10层板设计,适用于高速数据采集和处理系统、汽车导航、工业自动化等领...

Tronlong创龙
52分钟前
4
0
好程序员Java学习路线分享MyBatis之线程优化

  好程序员Java学习路线分享MyBatis之线程优化,我们的项目存在大量用户同时访问的情况,那么就会出现大量线程并发访问数据库,这样会带来线程同步问题,本章我们将讨论MyBatis的线程同步问...

好程序员官方
58分钟前
6
0
IDEA 自定义方法注解模板

IDEA 自定义方法注解模板 1、使用效果 /*** 计算交易费用* @Author wangjiafang* @Date 2019/9/11* @param feeComputeVo* @return*/@PostMapping("/v1/fee_compute")public ApiResp......

小白的成长
59分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部