文档章节

通过hadoop自带的demo运行单词统计

乐搏学院
 乐搏学院
发布于 2017/07/28 09:58
字数 121
阅读 5
收藏 0
点赞 0
评论 0

1)mkdir input

2)cd  intput

3)echo “hello word” > file1.txt

4)echo “hello Hadoop” > file2.txt

5)echo “hello mapreduce” >> file2.txt

6) more file2.txt

7) hadoop fs -mkdir  /wc_input

8) hadoop fs -ls /

9) hadoop fs -put ~/input/fi* /wc_input

10)hadoop fs -ls  /wc_input

11) hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /wc_input /output

12)hadoop fs -ls /output

13)hadoop fs -cat /output/part-r-00000

 

执行结果截图:

登录乐搏学院官网http://www.learnbo.com/

或关注我们的官方微博微信,还有更多惊喜哦~

© 著作权归作者所有

共有 人打赏支持
乐搏学院
粉丝 6
博文 526
码字总数 707467
作品 0
丰台
程序员
运行Hadoop自带的wordcount单词统计程序

0.前言 前面一篇《Hadoop初体验:快速搭建Hadoop伪分布式环境》搭建了一个Hadoop的环境,现在就使用Hadoop自带的wordcount程序来做单词统计的案例。 1.使用示例程序实现单词统计 (1)wordc...

xpleaf ⋅ 2017/09/03 ⋅ 0

Hadoop入门(3)_统计单词在文件中出现的个数

Linux环境:CentOs6.4 Hadoop版本:hadoop-0.20.2 内容:统计hadoopbin下的所有文件中单词出现的个数。 所用到的命令有: //创建input文件夹./hadoop fs -mkdir input//将所有的需要统计单词...

崔同亮 ⋅ 2013/08/18 ⋅ 0

淘宝Fourinone和Hadoop经典实例wordcount的实现对比

很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分...

fourinone ⋅ 2011/12/05 ⋅ 1

用淘宝Fourinone实现Hadoop经典实例wordcount

很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现 输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分...

fourinone ⋅ 2011/12/05 ⋅ 0

初涉MapReduce程序

一 MapRecuce_WordCount程序测试 上次的hadoop中的hdfs文件系统中,我们把hadoop根目录下面的conf下的所有.xml文件上传到了hdfs文件系统中,下面我们就通过mapreduce程序来对单词进行一下统计 ...

black_lxf_720 ⋅ 2016/03/08 ⋅ 0

Hadoop2安装——单机模式

Hadoop有三种模式 单机模式、伪分布模式和完全分布模式 这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。 Hadoop 网址http:...

tngou ⋅ 2012/12/01 ⋅ 12

Hadoop实战之WordCount统计单词数目

一.Hadoop实战之WordCount统计单词数目 1.前言: 上一篇文章MapReducer项目结构分析 分析了hadoop的计算模型MapReducer的项目结构,下面就仿照先做一个WordCount统计单词数目的实战,便于理解...

itbiggod ⋅ 05/06 ⋅ 0

spark Local环境搭建,第一个DEMO程序的编写

spark Local环境搭建,第一个DEMO程序的编写 机器:windows 10 64位。 开发语言: Java JDK: 1.8. 1.spark,hadoop环境标题变量配置 去 http://spark.apache.org/downloads.html 网站下载spark...

Zhao-Qian ⋅ 2016/06/13 ⋅ 0

HADOOP2单机版

Hadoop有三种模式 单机模式、伪分布模式和完全分布模式 这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。 Hadoop 网址http:...

壹炮倾城 ⋅ 2013/10/09 ⋅ 0

Spark的Python编程-简单示例

链接:http://spark.apache.org/docs/latest/programming-guide.html 安装好Spark 后,自带了一些demo, 路径在Spark根目录/examples/src/main/python/ 里面有些例子,例如统计字数的 wordco...

openthings ⋅ 2016/03/02 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Mahout推荐算法API详解

前言 用Mahout来构建推荐系统,是一件既简单又困难的事情。简单是因为Mahout完整地封装了“协同过滤”算法,并实现了并行化,提供非常简单的API接口;困难是因为我们不了解算法细节,很难去根...

xiaomin0322 ⋅ 20分钟前 ⋅ 0

WampServer默认web服务器根目录位置

安装WampServer之后的web服务器根目录默认位置在WampServer安装目录下的www:

临江仙卜算子 ⋅ 21分钟前 ⋅ 0

Redux的一些手法记录

Redux Redux的基本概念见另一篇文。 这里记录一下Redux在项目中的实际操作的手法。 actions 首先定义action.js,actions的type,可以另起一个action-type.js文件。 action-type.js用来存...

LinearLaw ⋅ 22分钟前 ⋅ 0

android 手势检测(左右滑动、上下滑动)

GestureDetector类可以让我们快速的处理手势事件,如点击,滑动等。 使用GestureDetector分三步: 1. 定义GestureDetector类 2. 初始化手势类,同时设置手势监听 3. 将touch事件交给gesture...

王先森oO ⋅ 36分钟前 ⋅ 0

java 方法的执行时间监控 设置超时(Future 接口)

java 方法的执行时间监控 设置超时(Future 接口) import java.util.concurrent.Callable; import java.util.concurrent.ExecutionException; import java.util.concurrent.Executor......

青峰Jun19er ⋅ 41分钟前 ⋅ 0

一名开源小白的Apache成长自述

今天收到了来自Apache Vote我成为Serviceomb项目Committer的邮件,代表自己的贡献得到了充分的肯定;除了感谢团队的给力支持,我更希望将自己的成长经历——如何践行Apache Way的心得介绍给大...

微服务框架 ⋅ 43分钟前 ⋅ 0

vim介绍、颜色显示和移动光标、一般模式下复制、剪切和粘贴

1.vim 是 vi 的升级版 vim 是带有颜色显示的 mini安装的系统,一般都不带有vim [root@aminglinux-128 ~]# yum install -y vim-enhanced已加载插件:fastestmirror, langpacksLoading mir...

oschina130111 ⋅ 43分钟前 ⋅ 0

Deepin 操作系统四面楚歌

作为国内做的最好的 Linux 发行版,源自 Debian sid 的 Deepin 目前正面临重重困境,新版本不断延期,开发人员离职,bug 长期得不到修复,和 Debian/Ubuntu 的兼容性问题也面临越来越严重的挑...

六库科技 ⋅ 44分钟前 ⋅ 0

MyBatis之动态sql

我们需要知道的是,使用mybatis重点是对sql的灵活解析和处理。在原先的UserMappser.xml中,我们这样查询表中满足条件的记录 : 123 <select id="findUserList" parameterType="userQuery...

瑟青豆 ⋅ 44分钟前 ⋅ 0

这届俄罗斯世界杯的冷门那么多怎么办?

最纯粹的世界杯,最神奇的大冷门。 德国0比1被墨西哥摩擦了。 日本历史性的赢了哥伦比亚。 C罗也挑平了西班牙。 梅西被冰岛狮吼吼愣神了。 就连11次进世界杯4强的巴西也被瑞士逼平了。 天台已...

开源中国众包平台 ⋅ 45分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部