文档章节

[虚拟机VM][Ubuntu12.04]运行WordCount例子

javaer
 javaer
发布于 2017/07/25 18:31
字数 149
阅读 18
收藏 0

运行WordCount

1、在目录/tmp/目录下创建file1.txt、file2.txt

file1.txt输入内容

hello hadoop hi china

hello hadoop hi shanxi

file2.txt输入内容

hello world hi hadoop

2、启动HDFS后创建HDFS目录/input2:

hadoop fs -mkdir /input2

3、将file1.txt、file2.txt保存到HDFS中:

hadoop fs -put /tmp/file*.txt /input2

4、查看HDFS上是否已经存在file1.txt、file2.txt:

hadoop fs -ls /input2

表示HDFS保存文件成功

5、运行"hadoop jar XXX.jar"执行WordCount程序

hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input2/ /output2/wordcount1

6、查看输出结果

hadoop fs -cat /output2/wordcount1/*

© 著作权归作者所有

共有 人打赏支持
javaer
粉丝 23
博文 67
码字总数 7994
作品 0
太原
程序员
私信 提问
vmware converter p2v ubuntu 12.04

一、使用的vmware版本 vcenter 6.0 VMware-converter-en-6.0.0-2716716 二、安装VMware-converter 1、准备一台用于安装VMware-converter的虚拟机或物理机 系统:windows2008R2 cpu:至少1核 ...

757781091
2017/04/21
0
0
hadoop-2.8-src源码包中的hadoop pipes的例子之wordcount-nopipe.cc如何编译运行?

各位好!我的虚拟机是centos6.7(64位),已经安装了Hadoop-2.8的伪分布式集群,我使用Java编写MR程序,然后打包、提交、运行,都没问题。现在公司的要求是,使用C++编写MR程序(使用Hadoop ...

Chao8309
2015/11/18
179
0
基于Eclipse的Hadoop应用开发环境配置

基于Eclipse的Hadoop应用开发环境配置 我的开发环境: 操作系统centos5.5 一个namenode 两个datanode Hadoop版本:hadoop-0.20.203.0 Eclipse版本:eclipse-java-helios-SR2-linux-gtk.tar.g...

cookqq
2014/01/03
0
0
ubuntu12.04下hadoop单机模式和伪分布模式环境搭建

1.添加hadoop组(专门用来进行hadoop测试)到系统用户: 2.在hadoop中添加hadoop用户: 3.赋予hadoop管理员权限 ( 如果不想新建用户,只在自己现有用户下搭建,上面三步可以省去直接进入第四步...

lcj1992
2014/01/07
0
2
docker一键部署hadoop心得(一)

开始学大数据已经有一个月了,最近一直在折腾使用docker一键部署全分布式hadoop集群,虽然一键部署的脚本写好了并且可以成功运行出各个节点,但在运行一个wordcount实例时出现了错误,错误如下...

李金泽
01/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

js垃圾回收机制和引起内存泄漏的操作

JS的垃圾回收机制了解吗? Js具有自动垃圾回收机制。垃圾收集器会按照固定的时间间隔周期性的执行。 JS中最常见的垃圾回收方式是标记清除。 工作原理:是当变量进入环境时,将这个变量标记为“...

Jack088
昨天
12
0
大数据教程(10.1)倒排索引建立

前面博主介绍了sql中join功能的大数据实现,本节将继续为小伙伴们分享倒排索引的建立。 一、需求 在很多项目中,我们需要对我们的文档建立索引(如:论坛帖子);我们需要记录某个词在各个文...

em_aaron
昨天
18
0
"errcode": 41001, "errmsg": "access_token missing hint: [w.ILza05728877!]"

Postman获取微信小程序码的时候报错, errcode: 41001, errmsg: access_token missing hint 查看小程序开发api指南,原来access_token是直接当作parameter的(写在url之后),scene参数一定要...

两广总督bogang
昨天
23
0
MYSQL索引

索引的作用 索引类似书籍目录,查找数据,先查找目录,定位页码 性能影响 索引能大大减少查询数据时需要扫描的数据量,提高查询速度, 避免排序和使用临时表 将随机I/O变顺序I/O 降低写速度,占用磁...

关元
昨天
12
0
撬动世界的支点——《引爆点》读书笔记2900字优秀范文

撬动世界的支点——《引爆点》读书笔记2900字优秀范文: 作者:挽弓如月。因为加入火种协会的读书活动,最近我连续阅读了两本论述流行的大作,格拉德威尔的《引爆点》和乔纳伯杰的《疯传》。...

原创小博客
昨天
33
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部