文档章节

Hadoop命令指南

Leech
 Leech
发布于 2016/06/25 09:37
字数 983
阅读 67
收藏 2

所有Hadoop命令通过bin/hadoop脚本调用。不带任何参数运行Hadoop脚本打印所有命令描述。

用法:

hadoop [--config confdir] [--loglevel loglevel] [COMMAND] [GENERIC_OPTIONS]

[COMMAND_OPTIONS]

字段 描述
--config confdir 覆盖默认配置目录。默认目录是${HADOOP_HOME}/conf
--loglevel loglevel 覆盖日志级别。有效值:FATAL、ERROR、WARN、INFO、DEBUG和TRACE。默认为INFO。
GENERIC_OPTIONS 支持多个命令的options集合
COMMAND_OPTIONS Hadoop子项目的各种命令的options集合

Generic Options

GENERIC_OPTIONS 描述
-archives Specify comma separated archives to be unarchived on the compute machines. Applies only to job.
-conf 指定一个应用程序的配置文件
-D = 使用指定属性值
-files 指定逗号分隔的文件列表复制到MapReduce集群。只应用于任务。
-jt or 指定ResourceManager。只应用于任务。
-libjars 指定逗号分隔的jar文件包括在classpath中。应用于任务。

1    Hadoop公共命令

所有这些命令从hadoop shell command执行。它们被分为用户命令和管理员命令。

1.1    用户命令

Hadoop集群用户使用的命令。

archive

创建hadoop归档。

checknative

用法:hadoop checknative [-a] [-h]

COMMAND_OPTION 描述
-a 检测所有类库是否可用
-h 打印帮助

该命令检测Hadoop本地代码有效性。默认,该命令只检测libhadoop有效性。

classpath

用法:

用法:hadoop classpath [--glob |--jar <path> |-h |--help]

COMMAND_OPTION 描述
--glob 执行通配符
--jar 指定jar名称
-h |--help 打印帮助

打印需要获取的Hadoop jar和必须类库的classpath。如果没有参数,那么打印整个

classpath。额外选项打印通配符扩展后面的classpath或写classpath到jar文件的清单文件

中。

credential

用法:

hadoop credential <subcommand> [options]

COMMAND_OPTION 描述
create alias [-provider provider-path] 提示用户证书存储为指定别名。core-site.xml文件中的 hadoop.security.credential.provider.path将被使用除非提供-provider参数。
delete alias [-provider provider-path] [-f] 使用指定别名删除证书。core-site.xml文件中的 hadoop.security.credential.provider.path 将被使用,除非指定-provider。指定-f选项系统会询问你是否确认执行命令。
list [-provider provider-path] 列出所有的证书别名。core-site.xml的 hadoop.security.credential.provider.path 将被使用,除非指定-provider。

命令管理在证书提供商中管理证书、密码和秘钥。

Hadoop的CredentialProvider API允许将应用程序和它们需要的密码/秘钥分开存储。为了指定

特殊提供商的类型和位置,用户必须在core-site.xml文件中设置

hadoop.security.credential.provider.path配置元素或使用命令行选项-provider。该提供商

路径是一个逗号分隔的表示提供商类型和位置的URL列表。例如:

user:///,jceks://file/tmp/test.jceks,jceks://hdfs@nn1.example.com/my/path

/test.jceks

表示当前用户的证书文件通过User Provider获取,本地文件系统位于/tmp/test.jceks是Java

Keystore Provider,HDFS文件系统中的nn1.example.com/my/path/test.jceks也是Java

Keystore Provider。 

当利用证书命令,它将提供密码或秘钥给特定证书存储提供商。为了明确指定提供商存储位置

使用-provider选项。否则,指定多个提供商,第一个非瞬时的提供商被使用。

例子:

hadoop credential list -provider jceks://file/tmp/test.jceks

distcp

递归复制文件和目录。

fs

等价于HDFS中的hdfs dfs命令。

jar

用法:

hadoop jar <jar> [mainClass] args... 

运行jar文件。

使用yarn jar加载YARN应用程序。

key

通过KeyProvider管理键。

trace

浏览和修改Hadoop追踪设置。

version

用法:

hadoop version 

打印版本。

classname

用法:

 hadoop CLASSNAME

运行类名CLASSNAME的类。

1.2    管理员命令

Hadoop集群管理员使用的命令。

daemonlog

用法:

hadoop daemonlog -getlevel <host:httpport> <classname>

hadoop daemonlog -setlevel <host:httpport> <classname> <level>

COMMAND_OPTION 描述
-getlevel 打印运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log=
-setlevel 设置运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log=&level=

例子:

bin/hadoop daemonlog -setlevel 127.0.0.1:50070

org.apache.hadoop.hdfs.server.namenode.NameNode DEBUG

 

© 著作权归作者所有

上一篇: Nginx反向代理
下一篇: 入门指南
Leech
粉丝 21
博文 270
码字总数 589803
作品 0
武汉
架构师
私信 提问
为什么说写“安装指南”类博客的程序员是懒惰的

安装指南无法精确 为什么我根据hadoop的官方指南安装群集困难重重,但是执行却如此轻松呢? 这不仅仅是一个简单一个复杂的问题。简单+简单+简单就变成复杂了,或者说复杂=简单+简单...+简单。...

jianglibo
2016/04/12
51
0
hadoop1.1.2集群安装指南

首先是基于伪分布的安装: http://my.oschina.net/repine/blog/267698 如果你还不会,我想说:不太可能,加油!do it 构建hadoop集群 a>vmbox复制 或者vmware克隆 得到新的虚拟机 b>新建一个...

片刻
2014/05/29
100
0
hadoop1.1.2伪分布安装指南

1.伪分布式的安装 1.1 修改ip (1)打开VMWare或者VirtualBox的虚拟网卡 (2)在VMWare或者VirtualBox设置网络连接方式为host-only (3)在linux中,修改ip。有上角的图标,右键,选择Edit Connec...

片刻
2014/05/22
154
0
hadoop2-shell操作详解

转载之: https://www.cnblogs.com/870386641drh/p/4262593.html FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是s...

断臂人
2018/06/14
0
0
Hadoop 伪分布式搭建指南

简述 ***hadoop 集群一共有4种部署模式,详见《hadoop 生态圈介绍》。伪分布式模式将hadoop安装在一台机器上,通常用来用作实验、开发和调试用。 所有四种模式的部署指南见: Hadoop 伪分布式...

bochs
2016/11/17
81
0

没有更多内容

加载失败,请刷新页面

加载更多

代理模式之JDK动态代理 — “JDK Dynamic Proxy“

动态代理的原理是什么? 所谓的动态代理,他是一个代理机制,代理机制可以看作是对调用目标的一个包装,这样我们对目标代码的调用不是直接发生的,而是通过代理完成,通过代理可以有效的让调...

code-ortaerc
39分钟前
4
0
学习记录(day05-标签操作、属性绑定、语句控制、数据绑定、事件绑定、案例用户登录)

[TOC] 1.1.1标签操作v-text&v-html v-text:会把data中绑定的数据值原样输出。 v-html:会把data中值输出,且会自动解析html代码 <!--可以将指定的内容显示到标签体中--><标签 v-text=""></......

庭前云落
今天
7
0
VMware vSphere的两种RDM磁盘

在VMware vSphere vCenter中创建虚拟机时,可以添加一种叫RDM的磁盘。 RDM - Raw Device Mapping,原始设备映射,那么,RDM磁盘是不是就可以称作为“原始设备映射磁盘”呢?这也是一种可以热...

大别阿郎
今天
10
0
【AngularJS学习笔记】02 小杂烩及学习总结

本文转载于:专业的前端网站☞【AngularJS学习笔记】02 小杂烩及学习总结 表格示例 <div ng-app="myApp" ng-controller="customersCtrl"> <table> <tr ng-repeat="x in names | orderBy ......

前端老手
昨天
14
0
Linux 内核的五大创新

在科技行业,创新这个词几乎和革命一样到处泛滥,所以很难将那些夸张的东西与真正令人振奋的东西区分开来。Linux内核被称为创新,但它又被称为现代计算中最大的奇迹,一个微观世界中的庞然大...

阮鹏
昨天
18
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部