文档章节

hadoop安全模式

蓝狐乐队
 蓝狐乐队
发布于 2014/05/09 08:50
字数 673
阅读 144
收藏 1

HDFS的安全模式

2013年10月14日 ⁄ hadoop及周边, hdfs ⁄ 共 849字 ⁄ 字号 暂无评论  ⁄ 阅读 1,047 views 次

在启动hadoop集群的时候,集群的运行会首先进入到安全模式(safeMode)下。

那么,安全模式是什么,集群在安全模式下干什么了?

当集群启动的时候,会首先进入到安全模式。安全模式是hadoop集群的一种保护方式。当系统处于安全模式时,会检查数据块的完整性。假设我们设置的副本数(即参数dfs.replication)是5,那么在dataNode上就应该有5个副本存在,假设只存在3个副本,那么比率就是3/5=0.6。在配置文件hdfs-default.xml中定义了一个最小的副本率0.999,如图7-1

wps_clip_image-27397

图7-1

我们的副本率0.6明显小于0.999,因此系统会自动的复制副本到其他dataNode,使得副本率不小于0.999。如果系统中有8个副本,超过我们设定的5个副本,那么系统也会删除多于的3个副本。

总体来说,安全模式是hadoop的一种保护机制,用于保证集群中数据块的安全性的。

安全模式对我们有什么影响哪?

这时,不允许客户端进行任何修改文件的操作,包括上传文件、删除文件、重命名、创建文件夹等操作。比如,创建文件时,在源代码中就有对安全模式的判断,如图7-2

wps_clip_image-32694

图7-2

当我们在安全模式下进行修改文件操作时,会报出如下错误,如图7-3

wps_clip_image-28620

图7-3

正常情况下,安全模式会运行一段时间自动退出的。只需要我们稍等一会就可以了。到底等多长时间哪,我们可以通过50070端口查看安全模式退出的剩余时间,如图7-4。

wps_clip_image-30331

图7-4

虽然不能进行修改文件的操作,但是可以浏览目录结构、查看文件内容的。

我们可以控制是否进入或者退出安全模式吗?

在命令行下是可以控制安全模式的进入、退出和查看的,

命令hadoop  fs  –safemode  get 查看安全模式状态

命令hadoop  fs  –safemode  enter 进入安全模式状态

命令hadoop  fs  –safemode  leave 离开安全模式状态

操作如图7-5所示

wps_clip_image-31046

图7-5

安全模式,是hadoop集群的一种保护机制,在启动时,最好是等待集群自动退出,然后再进行文件操作。

本文转载自:

蓝狐乐队
粉丝 107
博文 325
码字总数 94335
作品 0
昌平
程序员
私信 提问
hadoop之 安全模式及SafeModeException

问题: hadoop启动的时候报错 HTTP ERROR 500 Problem accessing /nn_browsedfscontent.jsp. Reason: Cannot issue delegation token. Name node is in safe mode. The reported blocks 0 n......

技术小美
2017/11/12
0
0
hadoop常见异常

1、Shell$ExitCodeException 现象:运行hadoop job时出现如下异常: 原因及解决办法:原因未知。重启可恢复正常 2、Safe mode 现象:分配map reduce任务时产生: 说明Hadoop的NameNode处在安...

o0无忧亦无怖
2015/10/08
52
0
HDFS常用命令(方便大家记忆版)

1. 文件操作 (1) 列出HDFS下的文件 /usr/local/hadoop$bin/hadoop dfs -ls (2) 列出HDFS文件下名为in的文档中的文件 /usr/local/hadoop$bin/hadoop dfs -ls in (3) 上传文件 将hadoop目录下的...

姚兴泉
2018/08/06
0
0
Hadoop之分布式集群中节点的动态添加与下架(笔记13)

开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群。现在,我们来了解一下在一个hadoop分布式集群中,如何动态(不关机且正在运行的情况下)地添加一个Hadoop节...

xiangxizhishi
2017/07/19
0
0
spark集群详细搭建过程及遇到的问题解决(四)

在spark集群详细搭建过程及遇到的问题解决(三)中,我们将讲述了hadoop的安装过程,在本文中将主要讲述spark的安装配置过程。 spark@master:~/spark$ cd hadoopspark@master:~/spark/hadoop...

lefteva
2016/11/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Vue造轮子-Tabs测试(下)

1. 如果g-tabs里面不是g-tabs-head,g-tabs-body期望会报错。 // 目前没有报错,所以先改 // tabs.vue if(this.$children.length===0){ // 这个$children是看子组件,不是子元...

ories
12分钟前
20
0
解决与二进制文件的Git冲突

我一直在Windows上使用Git(msysgit)来跟踪我一直在做的一些设计工作的变化。 今天我一直在使用不同的PC(使用远程repo brian ),我现在正尝试将今天完成的编辑合并到我的笔记本电脑上的常...

javail
12分钟前
33
0
忽略本地更改时会拉动Git?

有没有办法做一个git pull来忽略任何本地文件的更改,而又不浪费目录,也不必执行git clone ? #1楼 如果您使用的是Linux: git fetchfor file in `git diff origin/master..HEAD --name-o...

技术盛宴
28分钟前
38
0
Linux云主机安全加固

背景 最近在登录自己的云主机的时候,遇到了自己的机器被恶意的登录了几百次,如 Last failed login: Tue Feb 10 23:32:08 EST 2019 from xxx There were 166 failed login attempts since ...

项昂之
52分钟前
73
0
Java – Try with Resources

1. Overview Support for try-with-resources – introduced in Java 7 – allows us to declare resources to be used in a try block with the assurance that the resources will be clo......

Ciet
今天
53
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部