文档章节

关于hadoop运行mapreduce任务的说明

彭苏云
 彭苏云
发布于 2014/08/15 13:12
字数 164
阅读 28
收藏 0

通常我的做法在eclipse中编写mapper和reduce类,以及driver类,然后打出jar放在hadoop服务器上运行

用下面的命令运行任务
hadoop  aboutMapReduce.MaxTemperature /opt/ncdc/micro/ output

但是
如果没有设置CLASSPATH环境变量的话或者CLASSPATH下找不到aboutMapReduce.MaxTemperature的时候,就报类找不到的错误了错误了
Error: Could not find or load main class aboutMapReduce.MaxTemperature

所以我的做法:
在/etc/profile或者.bash_profile中设置环境变量
HADOOP_CLASSPATH=
CLASSPATH=$CLASSPATH:$HADOOP_CLASSPATH
export HADOOP_CLASSPATH
export CLASSPATH

但是运行上面的命令的时候还应该注意:output目录不应该存在,否则报错

 

© 著作权归作者所有

彭苏云
粉丝 43
博文 204
码字总数 54255
作品 0
广州
高级程序员
私信 提问
关于MongoDB运行MapReduce任务的疑问

MongoDB中能运行MapReduce任务,在分片的环境中.他们运行MapReduce任务的范围呢? 1.是分片的机器才能运行MapReduce任务 2.集群中所有的机器[分片 and 备份]都可以运行MapReduce 3.能不能借助其...

震秦
2012/12/20
448
5
关于MongoDB运行MapReduce任务的疑问

MongoDB中能运行MapReduce任务,在分片的环境中.他们运行MapReduce任务的范围呢? 1.是分片的机器才能运行MapReduce任务 2.集群中所有的机器[分片 and 备份]都可以运行MapReduce 3.能不能借助其...

震秦
2012/12/20
139
0
2014-11-12--Hadoop的基础学习(三)--Hadoop中MapReduce框架入门

1.MapReduce的简单概念 百度百科:MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",和他们的主要思想,都是从函数式编程语言里借来的...

查封炉台
2014/11/16
8.3K
8
Hadoop-2.2.0使用lzo压缩文件作为输入文件

 在 《Hadoop 2.2.0安装和配置lzo》 文章中介绍了如何基于 Hadoop 2.2.0安装lzo。里面简单介绍了如果在Hive里面使用lzo数据。今天主要来说说如何在Hadoop 2.2.0中使用lzo压缩文件当作的数据...

蓝狐乐队
2014/04/22
223
0
Hadoop的mapreduce的简单用法

 Mapreduce初析   Mapreduce是一个计算框架,既然是做计算的框架,那么表现形式就是有个输入(input),mapreduce操作这个输入(input),通过本身定义好的计算模型,得到一个输出(outpu...

魔法王者安琪拉
2018/08/23
29
0

没有更多内容

加载失败,请刷新页面

加载更多

MainThreadSupport

MainThreadSupport EventBus 3.0 中的代码片段. org.greenrobot.eventbus.MainThreadSupport 定义一个接口,并给出默认实现类. 调用者可以在EventBus的构建者中替换该实现. public interface ...

马湖村第九后羿
38分钟前
3
0
指定要使用的形状来代替文字的显示

控制手机键盘弹出的功能只能在ios上实现,安卓是实现不了的,所以安卓只能使用type类型来控制键盘类型,例如你要弹出数字键盘就使用type="number",如果要弹出电话键盘就使用type="tel",但这...

前端老手
48分钟前
5
0
总结:Raft协议

一、Raft协议是什么? 分布式一致性算法。即解决分布式系统中各个副本数据一致性问题。 二、Raft的日志广播过程 发送日志到所有Followers(Raft中将非Leader节点称为Follower)。 Followers收...

浮躁的码农
56分钟前
7
0
Flask-admin Model View字段介绍

Model View字段介绍 can_create = True 是否可以创建can_edit = True 是否可以编辑can_delete = True 是否可以删除list_template = 'admin/model/list.html' 修改显......

dillonxiao
今天
5
0
从AnnotationTransactionAspect开始rushSpring事务

0. Spring 事务 with LTW 0.1. Spring 事务 With LTW的原因: Pure Proxy-base mode有缺陷,其失效原因分析及使用方法及运行机制(LoadTimeWeaverBeanDefinitionParser和 AspectJWeavingEnable......

Aruforce
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部