文档章节

[虚拟机VM][Ubuntu12.04]运行WordCount例子

javaer
 javaer
发布于 2017/07/25 18:31
字数 149
阅读 18
收藏 0
点赞 0
评论 0

运行WordCount

1、在目录/tmp/目录下创建file1.txt、file2.txt

file1.txt输入内容

hello hadoop hi china

hello hadoop hi shanxi

file2.txt输入内容

hello world hi hadoop

2、启动HDFS后创建HDFS目录/input2:

hadoop fs -mkdir /input2

3、将file1.txt、file2.txt保存到HDFS中:

hadoop fs -put /tmp/file*.txt /input2

4、查看HDFS上是否已经存在file1.txt、file2.txt:

hadoop fs -ls /input2

表示HDFS保存文件成功

5、运行"hadoop jar XXX.jar"执行WordCount程序

hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input2/ /output2/wordcount1

6、查看输出结果

hadoop fs -cat /output2/wordcount1/*

© 著作权归作者所有

共有 人打赏支持
javaer
粉丝 20
博文 57
码字总数 7899
作品 0
太原
程序员
vmware converter p2v ubuntu 12.04

一、使用的vmware版本 vcenter 6.0 VMware-converter-en-6.0.0-2716716 二、安装VMware-converter 1、准备一台用于安装VMware-converter的虚拟机或物理机 系统:windows2008R2 cpu:至少1核 ...

757781091 ⋅ 2017/04/21 ⋅ 0

hadoop-2.8-src源码包中的hadoop pipes的例子之wordcount-nopipe.cc如何编译运行?

各位好!我的虚拟机是centos6.7(64位),已经安装了Hadoop-2.8的伪分布式集群,我使用Java编写MR程序,然后打包、提交、运行,都没问题。现在公司的要求是,使用C++编写MR程序(使用Hadoop ...

Chao8309 ⋅ 2015/11/18 ⋅ 0

基于Eclipse的Hadoop应用开发环境配置

基于Eclipse的Hadoop应用开发环境配置 我的开发环境: 操作系统centos5.5 一个namenode 两个datanode Hadoop版本:hadoop-0.20.203.0 Eclipse版本:eclipse-java-helios-SR2-linux-gtk.tar.g...

cookqq ⋅ 2014/01/03 ⋅ 0

docker详细的基础用法

Docker是一个用了一种新颖方式实现的超轻量虚拟机,在实现的原理和应用上还是和VM有巨大差别,专业的叫法是应用容器(Application Container)。(我个人还是喜欢称虚拟机) Docker应用容 Do...

劲风online ⋅ 2015/10/30 ⋅ 0

在VirtualBox中使用招行网银专业版

这篇文章描述了如何在Ubuntu和VirtualBox环境下使用招商银行网银专业版。 注:http://csfreebird.blogspot.com是我的练习写英文的博客站点。 环境: 1.Ubuntu 12.04 64 bit desktop edition ...

长平狐 ⋅ 2012/08/28 ⋅ 0

转:docker详细的基础用法

Docker是一个用了一种新颖方式实现的超轻量虚拟机,在实现的原理和应用上还是和VM有巨大差别,专业的叫法是应用容器(Application Container)。(我个人还是喜欢称虚拟机) Docker应用容器相...

车开源 ⋅ 2016/03/19 ⋅ 0

docker详细的基础用法

Docker是一个用了一种新颖方式实现的超轻量虚拟机,在实现的原理和应用上还是和VM有巨大差别,专业的叫法是应用容器(Application Container)。(我个人还是喜欢称虚拟机) Docker应用容器相...

jacked ⋅ 2015/10/23 ⋅ 0

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)

结束historyserver的命令如下所示: 第四步:验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录,创建过程如下所示: Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据...

Spark亚太研究院 ⋅ 2014/11/13 ⋅ 0

运行WordCount报错:java.lang.OutOfMemoryError: Java heap space

原因是客户端程序运行时java虚拟机内存分配不够,修改run configuration(run as >run configurations),选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存后执行没有问题(即将...

kartik ⋅ 2014/07/04 ⋅ 0

4ms运行?基于Xen的虚拟机性能边界在哪

  【IT168 资讯】我们是否可以通过容器的效率来改进vm(虚拟机)的效率?在今天的论述中,具体研究了基于Xen(开放源代码虚拟机监视器)的虚拟机性能的边界。发现并消除了在启动大量轻量级vm(包...

it168网站 ⋅ 2017/11/03 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

看东方明珠新媒体如何基于阿里视频云,构建完整的视频OTT平台SaaS服务

摘要: 东方明珠新媒体如何基于阿里云,搭建了面向第三方的视频SaaS服务?6月8日,上海云栖大会视频专场中,东方明珠新媒体股份有限公司云计算中心的副总周少毅带来了《东方明珠视频云》为题...

阿里云云栖社区 ⋅ 22分钟前 ⋅ 0

C#调用WebService实例和开发 VS2013

简单的理解就是:webservice就是放在服务器上的函数,所有人都可以调用,然后返回信息。 Web Service的主要目标是跨平台的可互操作性。为了实现这一目标,Web Service 完全基于XML(可扩展标...

布衣大侠 ⋅ 25分钟前 ⋅ 0

基于FlumeNG+Kafka+ElasticSearch+Kibana的日志系统

环境准备 1.服务器概览 hostname ip 操作系统 说明 安装内容 node1.fek 192.168.2.161 centos 7 node1节点 nginx,jdk1.8, flumeNG, elasticsearch slave1 node2.fek 192.168.2.162 centos ......

张shieppp ⋅ 25分钟前 ⋅ 0

问答网站已成过去,深度问答社区才是当下

曾几何时,各类问答网站数不胜数,从百度知道这类综合型问答网站到各种垂直细分的问答网站,都有不少,但到了移动互联网时代,很明显的一大趋势是,网站整体的流量都在下滑,随着移动智能设备...

ThinkSNS账号 ⋅ 28分钟前 ⋅ 0

Android平台架构(ART)

Android平台架构(ART) 本文目的:准确表述Android平台架构 本文转载自[Android官网] 本文定位:学习笔记 学习过程记录,加深理解。也希望能给学习的同学一些灵感 本文更新时间:2018.06.22(...

lichuangnk ⋅ 30分钟前 ⋅ 0

看东方明珠新媒体如何基于阿里视频云,构建完整的视频OTT平台SaaS服务

摘要: 东方明珠新媒体如何基于阿里云,搭建了面向第三方的视频SaaS服务?6月8日,上海云栖大会视频专场中,东方明珠新媒体股份有限公司云计算中心的副总周少毅带来了《东方明珠视频云》为题...

猫耳m ⋅ 31分钟前 ⋅ 0

Java 动态代理 原理解析

概要 AOP的拦截功能是由java中的动态代理来实现的。说白了,就是在目标类的基础上增加切面逻辑,生成增强的目标类(该切面逻辑或者在目标类函数执行之前,或者目标类函数执行之后,或者在目标...

轨迹_ ⋅ 34分钟前 ⋅ 0

js 获取当前时间

var myDate = new Date();myDate.getYear(); //获取当前年份(2位)myDate.getFullYear(); //获取完整的年份(4位,1970-????)myDate.getMonth(); //获取当前月份(0-11,0代表1月)myDate...

夜醒者 ⋅ 40分钟前 ⋅ 0

windows删除或修改本地Git保存的账号密码

在win10或者win7都是一样的步骤: (一)进入控制面板(二)选择用户账户(三)选择管理你的凭据(四)选择Windows凭据(五)选择git保存的用户信息(六)选择编辑或者进...

果树啊 ⋅ 40分钟前 ⋅ 0

8个基本的Docker容器管理命令

前言: 在这篇文章中,我们将带你学习 8 个基本的 Docker 容器命令,它们操控着 Docker 容器的基本活动,例如 运行run、 列举list、 停止stop、 查看历史纪录logs、 删除delete 等等。文末福...

java高级架构牛人 ⋅ 42分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部