文档章节

通过hadoop自带的demo运行单词统计

乐搏学院
 乐搏学院
发布于 2017/07/28 09:58
字数 121
阅读 16
收藏 0

1)mkdir input

2)cd  intput

3)echo “hello word” > file1.txt

4)echo “hello Hadoop” > file2.txt

5)echo “hello mapreduce” >> file2.txt

6) more file2.txt

7) hadoop fs -mkdir  /wc_input

8) hadoop fs -ls /

9) hadoop fs -put ~/input/fi* /wc_input

10)hadoop fs -ls  /wc_input

11) hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /wc_input /output

12)hadoop fs -ls /output

13)hadoop fs -cat /output/part-r-00000

 

执行结果截图:

登录乐搏学院官网http://www.learnbo.com/

或关注我们的官方微博微信,还有更多惊喜哦~

© 著作权归作者所有

共有 人打赏支持
乐搏学院
粉丝 9
博文 526
码字总数 707467
作品 0
丰台
程序员
私信 提问
运行Hadoop自带的wordcount单词统计程序

0.前言 前面一篇《Hadoop初体验:快速搭建Hadoop伪分布式环境》搭建了一个Hadoop的环境,现在就使用Hadoop自带的wordcount程序来做单词统计的案例。 1.使用示例程序实现单词统计 (1)wordc...

xpleaf
2017/09/03
0
0
Hadoop入门(3)_统计单词在文件中出现的个数

Linux环境:CentOs6.4 Hadoop版本:hadoop-0.20.2 内容:统计hadoopbin下的所有文件中单词出现的个数。 所用到的命令有: //创建input文件夹./hadoop fs -mkdir input//将所有的需要统计单词...

崔同亮
2013/08/18
0
0
解读MapReduce程序实例

Mapreduce 是一个分布式运算程序的编程框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,并发运行在一个 hadoop 集群上。MapReduce采用“分而治之”...

海岸线的曙光
2018/06/27
0
0
淘宝Fourinone和Hadoop经典实例wordcount的实现对比

很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分...

fourinone
2011/12/05
2K
1
用淘宝Fourinone实现Hadoop经典实例wordcount

很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分...

fourinone
2011/12/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

计算游戏权重代码

$list = [ [ 'pt' => 1, //权重序号 'pv' => 0, //权重值 ], [ 'pt' => 2, 'pv' => 10, ], [ 'pt' => 3, ......

我才是张先生
30分钟前
11
0
智能分单算法

算法描述 目前在物流,企业用工等领域,都有着大量的通过算法对接到的订单进行智能分配的需求。本文模拟的是用户下订单,然后商家接到订单,由配送人员进行派送的场景。在实际的应用中类似于...

鱼煎
32分钟前
2
0
即将开源 | 2亿用户背后的Flutter应用框架Fish Redux

背景 在闲鱼深度使用 Flutter 开发过程中,我们遇到了业务代码耦合严重,代码可维护性糟糕,如入泥泞。对于闲鱼这样的负责业务场景,我们需要一个统一的应用框架来摆脱当下的开发困境,而这也...

阿里云云栖社区
37分钟前
2
0
Ubuntu上搭建比特币运行环境

Ubuntu版本:16.04.3 Bitcoin Core版本:0.16 1. 比特币运行依赖的开源库 (1)必须依赖的库 库 目的 描述 libssl 加密 随机数生成,椭圆曲线加密算法 libboost 工具 线程库,数据结构等 li...

LoSingSang
41分钟前
2
0
IDE 插件新版本发布,开发效率 “biu” 起来了

近日,Cloud Toolkit正式推出了面向 IntelliJ 和 Eclipse 两个平台的新款插件,本文挑选了其中三个重大特性进行解读,点击文末官网跳转链接,可查看详细的版本说明。 本地应用一键部署到任何...

zhaowei121
47分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部