文档章节

Hadoop MapReduce下一代 - 命令行Mini集群

chapin
 chapin
发布于 2014/10/31 11:57
字数 488
阅读 117
收藏 3

目的:

使用命令行接口运行Mini集群,用户可以使用一个简单的命令启动或者停止一个单节点的Hadoop集群,不需要设置任何环境变量和管理配置文件。这个CLI Mini集群将会启动Yarn/MapReduce和HDFS。

这个案例适合想要快速体验一个真实的Hadoop集群或者测试一个没有java程序的功能。

Hadoop Tarbar

你应该尽可能的使用Hadoop tarball的release版本,当然,你也可以从源代码创建一个tarball:

$mvn clean install -DskipTests
$mvn package -pdist -Dtar -DskipTests -Dmaven.javadoc.skip
注意:在安装tarball之前需要 protoc 2.5.0被安装

tarball竟可能的安装在hadoop-dist/target/目录。

运行Mini集群:

从root目录解压出tarball,你可以使用下面的命令启动CLI Mini集群:

$ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.4.1-tests.jar minicluster -rmport RM_PORT -jhsport JHS_PORT

在上边命令行的例子中,RM_PORT和JHS_PORT应该被用户选择的端口号替换。如果没有被指定,将会随机分配端口给用户。

通过其他的属性配置,当控制服务启动的时候这儿有一些控制命令参数可以被用户使用。 有效的命令行参数:


$ -D <property=value>    Options to pass into configuration object
$ -datanodes <arg>       多少datanode节点被启动 (默认为1)
$ -format                格式化DFS(默认为false)
$ -help                  打印帮助信息.
$ -jhsport <arg>         (default 0--we choose)
$ -namenode <arg>        NameNode的URL (默认是DFS集群或者一个临时目录)
$ -nnport <arg>          NameNode port (default 0--we choose)
$ -nodemanagers <arg>    多少个NameNodes被启动 (default 1)
$ -nodfs                 不允许启动一个 mini DFS 集群
$ -nomr                  Don't start a mini MR cluster
$ -rmport <arg>          ResourceManager 端口(default 0--we choose)
$ -writeConfig <path>    保存配置到指定的文件(path).
$ -writeDetails <path>   以json格式写入基本信息到指定的目录(path).

用户可以通过-help参数命令显示了有效列表的参数使用方法。

© 著作权归作者所有

共有 人打赏支持
chapin
粉丝 18
博文 83
码字总数 102961
作品 0
成都
程序员
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
05/22
0
0
Hadoop编写调试MapReduce程序详解

编程学习,最好的方法还是自己动手,所以这里简单介绍在Hadoop上编写调试一个MapReduce程序。 先说一下我的开发环境,我的操作系统是Centos6.0,Hadoop版本是0.20.2,开发环境是eclipse。在H...

miaosu
2013/03/20
0
3
阿里云 E-MapReduce产品优势及使用场景

E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 产品优势: 与自建集...

凹凹凸曼
09/12
0
0
如何分布式运行mapreduce程序

如何分布式运行mapreduce程序 一、 首先要知道此前提 若在windows的Eclipse工程中直接启动mapreduc程序,需要先把hadoop集群的配置目录下的xml都拷贝到src目录下,让程序自动读取集群的地址后...

Zero零_度
2015/09/06
0
0
Hadoop的辉煌还能延续多久?

Hadoop技术已经无处不在。不管是好是坏,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。看来,不仅现在Hadoop是企业大数据的标准,而且在未来,它的地位...

一枚Sir
2014/08/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

5whys分析法在美团工程师中的实践

前言 网站的质量和稳定性对于用户和公司来说至关重要,但是在网站的快速发展过程中,由于各种原因导致事故不可避免的发生,这些大大小小的事故对公司难免会造成一些负面的影响,为了避免同类...

Skqing
24分钟前
1
0
Android 接收监听开机完成,并且开机自启动

1,定义一个广播接收者的类 ,并重写抽象方法 public class BootCompleteReceiver extends BroadcastReceiver 2,在Androidmanifest 注册 <receiver android:name=".receiver.BootCompleteRece......

lanyu96
27分钟前
2
0
小程序记录

1、button的边框、角等需要在伪元素after修改去除

originDu
29分钟前
1
0
微博什么技术啊……还说支持八个明星并发出轨,结果…

是的,大家可能都知道了,女神张靓颖结婚了。。 我去,写错了,是————赵丽颖。 为什么我头脑一瞬间出现的是张靓颖,作为一个码农,技术宅,拼音缩小都是 ZLY,博主我真有点傻傻分不清楚了...

Java技术栈
30分钟前
10
0
模块化

1,什么是模块化? 模块化是指将一个复杂的系统分解为多个模块,方便编码。 2,为什么要用模块化? 降低复杂性,降低代码耦合度,部署方便,提高效率。 3,模块化的好处? a,避免命名冲突,减少...

羊皮卷
30分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部