文档章节

通过hadoop自带的demo运行单词统计

乐搏学院
 乐搏学院
发布于 2017/07/28 09:58
字数 121
阅读 6
收藏 0

1)mkdir input

2)cd  intput

3)echo “hello word” > file1.txt

4)echo “hello Hadoop” > file2.txt

5)echo “hello mapreduce” >> file2.txt

6) more file2.txt

7) hadoop fs -mkdir  /wc_input

8) hadoop fs -ls /

9) hadoop fs -put ~/input/fi* /wc_input

10)hadoop fs -ls  /wc_input

11) hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /wc_input /output

12)hadoop fs -ls /output

13)hadoop fs -cat /output/part-r-00000

 

执行结果截图:

登录乐搏学院官网http://www.learnbo.com/

或关注我们的官方微博微信,还有更多惊喜哦~

© 著作权归作者所有

共有 人打赏支持
乐搏学院
粉丝 6
博文 526
码字总数 707467
作品 0
丰台
程序员
运行Hadoop自带的wordcount单词统计程序

0.前言 前面一篇《Hadoop初体验:快速搭建Hadoop伪分布式环境》搭建了一个Hadoop的环境,现在就使用Hadoop自带的wordcount程序来做单词统计的案例。 1.使用示例程序实现单词统计 (1)wordc...

xpleaf
2017/09/03
0
0
解读MapReduce程序实例

Mapreduce 是一个分布式运算程序的编程框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,并发运行在一个 hadoop 集群上。MapReduce采用“分而治之”...

海岸线的曙光
06/27
0
0
Hadoop入门(3)_统计单词在文件中出现的个数

Linux环境:CentOs6.4 Hadoop版本:hadoop-0.20.2 内容:统计hadoopbin下的所有文件中单词出现的个数。 所用到的命令有: //创建input文件夹./hadoop fs -mkdir input//将所有的需要统计单词...

崔同亮
2013/08/18
0
0
淘宝Fourinone和Hadoop经典实例wordcount的实现对比

很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分...

fourinone
2011/12/05
2K
1
用淘宝Fourinone实现Hadoop经典实例wordcount

很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分...

fourinone
2011/12/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

java基础知识,小栗子

来操作一下数组.....注意带参数的变长数组的使用. package com.avatus;import java.util.Random;import java.util.Scanner;public class Main { public static void main(St...

Oh_really
21分钟前
2
0
SSO单点登录PHP简单版

  前面做了一个新项目,需要用户资源可以需要共享。由于之前没有做过这样的东西,回家之后,立马网站百度“单点登录”。帖子很多,甄别之后,这里列几篇认为比较有营养。   http://blog...

slagga
58分钟前
2
0
Java 泛型详解-绝对是对泛型方法讲解最详细的,没有之一

对java的泛型特性的了解仅限于表面的浅浅一层,直到在学习设计模式时发现有不了解的用法,才想起详细的记录一下。 本文参考java 泛型详解、Java中的泛型方法、 java泛型详解 1 概述 泛型在j...

hensemlee
今天
2
0
Annotation注解详细介绍

目录介绍 1.Annotation库的简单介绍 2.@Nullable和@NonNull 3.资源类型注释 4.类型定义注释 5.线程注释 6.RGB颜色纸注释 7.值范围注释 8.权限注释 9.重写函数注释 10.返回值注释 11.@Keep注释...

潇湘剑雨
今天
2
0
一步步编写自己的PHP爬取代理IP项目(二)

这一章节我们正式开展我们的爬虫项目,首先我们先要知道哪个网站能获取到免费代理IP,目前比较火的有西刺代理,快代理等,这里我们拿西刺代理作为例子。 这里就是一个个免费的IP地址以及各自...

NateHuang
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部