文档章节

通过hadoop自带的demo运行单词统计

乐搏学院
 乐搏学院
发布于 2017/07/28 09:58
字数 121
阅读 12
收藏 0

1)mkdir input

2)cd  intput

3)echo “hello word” > file1.txt

4)echo “hello Hadoop” > file2.txt

5)echo “hello mapreduce” >> file2.txt

6) more file2.txt

7) hadoop fs -mkdir  /wc_input

8) hadoop fs -ls /

9) hadoop fs -put ~/input/fi* /wc_input

10)hadoop fs -ls  /wc_input

11) hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /wc_input /output

12)hadoop fs -ls /output

13)hadoop fs -cat /output/part-r-00000

 

执行结果截图:

登录乐搏学院官网http://www.learnbo.com/

或关注我们的官方微博微信,还有更多惊喜哦~

© 著作权归作者所有

共有 人打赏支持
乐搏学院
粉丝 7
博文 526
码字总数 707467
作品 0
丰台
程序员
私信 提问
运行Hadoop自带的wordcount单词统计程序

0.前言 前面一篇《Hadoop初体验:快速搭建Hadoop伪分布式环境》搭建了一个Hadoop的环境,现在就使用Hadoop自带的wordcount程序来做单词统计的案例。 1.使用示例程序实现单词统计 (1)wordc...

xpleaf
2017/09/03
0
0
解读MapReduce程序实例

Mapreduce 是一个分布式运算程序的编程框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,并发运行在一个 hadoop 集群上。MapReduce采用“分而治之”...

海岸线的曙光
06/27
0
0
Hadoop入门(3)_统计单词在文件中出现的个数

Linux环境:CentOs6.4 Hadoop版本:hadoop-0.20.2 内容:统计hadoopbin下的所有文件中单词出现的个数。 所用到的命令有: //创建input文件夹./hadoop fs -mkdir input//将所有的需要统计单词...

崔同亮
2013/08/18
0
0
淘宝Fourinone和Hadoop经典实例wordcount的实现对比

很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分...

fourinone
2011/12/05
2K
1
用淘宝Fourinone实现Hadoop经典实例wordcount

很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分...

fourinone
2011/12/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

2135亿背后,你所不知道的那些阿里瞬间

摘要: 01 10日下午五点。 上海梅赛德斯奔驰文化中心,天猫双11前夜的“猫晚”就在离我100米的地方。 台上正彩排,鲜衣怒马,烈焰繁花。但走进导播车,白天和黑夜好像没有区别,但你知道吗,...

阿里云官方博客
26分钟前
1
0
叶曼音频

道德经 道德经01a 道德经01b

亚林瓜子
35分钟前
0
0
Go 使用channel控制并发

前言 channel一般用于协程之间的通信,channel也可以用于并发控制。比如主协程启动N个子协程,主协程等待所有子协程退出后再继续后续流程,这种场景下channel也可轻易实现。 场景示例 总结 ...

恋恋美食
今天
3
0
斐波那契堆的理解,节点mark属性和势函数

斐波那契堆 看了好多博客,都是照搬算法导论的内容,没有自己的理解,比如为什么有mark属性,势函数的作用,以及为什么叫斐波那契堆,下面说说鄙人的理解。 势函数 势函数是根节点个数加上2...

杨喆
今天
7
0
NIO源码详解

阻塞io和无阻塞io: 阻塞io是指jdk1.4之前版本面向流的io,服务端需要对每个请求建立一堆线程等待请求,而客户端发送请求后,先咨询服务端是否有线程相应,如果没有则会一直等待或者遭到拒 ...

沉稳2018
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部