文档章节

[虚拟机VM][Ubuntu12.04]运行WordCount例子

javaer
 javaer
发布于 2017/07/25 18:31
字数 149
阅读 18
收藏 0

运行WordCount

1、在目录/tmp/目录下创建file1.txt、file2.txt

file1.txt输入内容

hello hadoop hi china

hello hadoop hi shanxi

file2.txt输入内容

hello world hi hadoop

2、启动HDFS后创建HDFS目录/input2:

hadoop fs -mkdir /input2

3、将file1.txt、file2.txt保存到HDFS中:

hadoop fs -put /tmp/file*.txt /input2

4、查看HDFS上是否已经存在file1.txt、file2.txt:

hadoop fs -ls /input2

表示HDFS保存文件成功

5、运行"hadoop jar XXX.jar"执行WordCount程序

hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input2/ /output2/wordcount1

6、查看输出结果

hadoop fs -cat /output2/wordcount1/*

© 著作权归作者所有

共有 人打赏支持
javaer
粉丝 20
博文 62
码字总数 7899
作品 0
太原
程序员
vmware converter p2v ubuntu 12.04

一、使用的vmware版本 vcenter 6.0 VMware-converter-en-6.0.0-2716716 二、安装VMware-converter 1、准备一台用于安装VMware-converter的虚拟机或物理机 系统:windows2008R2 cpu:至少1核 ...

757781091
2017/04/21
0
0
hadoop-2.8-src源码包中的hadoop pipes的例子之wordcount-nopipe.cc如何编译运行?

各位好!我的虚拟机是centos6.7(64位),已经安装了Hadoop-2.8的伪分布式集群,我使用Java编写MR程序,然后打包、提交、运行,都没问题。现在公司的要求是,使用C++编写MR程序(使用Hadoop ...

Chao8309
2015/11/18
156
0
基于Eclipse的Hadoop应用开发环境配置

基于Eclipse的Hadoop应用开发环境配置 我的开发环境: 操作系统centos5.5 一个namenode 两个datanode Hadoop版本:hadoop-0.20.203.0 Eclipse版本:eclipse-java-helios-SR2-linux-gtk.tar.g...

cookqq
2014/01/03
0
0
ubuntu12.04下hadoop单机模式和伪分布模式环境搭建

1.添加hadoop组(专门用来进行hadoop测试)到系统用户: 2.在hadoop中添加hadoop用户: 3.赋予hadoop管理员权限 ( 如果不想新建用户,只在自己现有用户下搭建,上面三步可以省去直接进入第四步...

lcj1992
2014/01/07
0
2
docker一键部署hadoop心得(一)

开始学大数据已经有一个月了,最近一直在折腾使用docker一键部署全分布式hadoop集群,虽然一键部署的脚本写好了并且可以成功运行出各个节点,但在运行一个wordcount实例时出现了错误,错误如下...

李金泽
01/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

golang使用protobuf简易教程

参考文档:https://blog.csdn.net/qq_15437667/article/details/78425151 一、安装protobuf # 去github.com/golang/protobuf下载源码包,# 拷贝到 $GOPATH/src/github.com/golang/protobuf......

科陆李明
29分钟前
0
0
8月16日 上课截图

小丑鱼00
44分钟前
0
0
Nginx负载均衡、配置SSL

Nginx负载均衡 在 /usr/local/nginx/conf/vhost/ 下创建一个文件,写入以下内容 加载后用curl测试可以访问设置的网站 www.qq.com ssl原理 HTTPS是一种加密的http协议,如果HTTP通信的数据包在...

黄昏残影
48分钟前
0
0
String 源码阅读笔记

String源码阅读 本人学习笔记,内容来自于阅读源码和其他博客,水平有限,如有错误,烦请指正。 详情参考: Java 7 源码学习系列(一)——String 请别再拿“String s = new String("xyz");...

等到烟火清凉_
48分钟前
4
0
Coding and Paper Letter(十二)

资源整理。<!-- more --> 1 Coding: 1.R语言生成的ppt,GeoStat2018会议报告,时空模式分析的报告。 geostat18 2.欧空局哨兵和SMOS的工具集,关于对地观测数据的处理与分析的docker容器。 ...

胖胖雕
50分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部