文档章节

第10章-管理Hadoop集群-hadoop 安全模式相关知识点

hiqj
 hiqj
发布于 2014/10/16 17:31
字数 1150
阅读 148
收藏 1

1、namenode启动时,namenode节点都做了哪些动作?fsimage和edits有什么变化?

2、namenode什么时候开始监听RPC和HTTP请求?

   namenode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项操作。

    一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件(这个操作不需要借助辅助namenode)和一个空的编辑日志。此时,namnode开始监听RPC和HTTP请求。

3、namenode在什么阶段会处于安全模式?

    在启动阶段。

4、namenode运行在安全模式下,文件系统对于客户端可以读写吗?

    但是此刻,namenode运行在安全模式,即namenode的文件系统对于客户端来说是只读的。

    严格来说,在安全模式下,只有那些访问文件系统元数据的文件系统操作是可以成功的,例如显示目录列表等。

    对于读文件操作来说,只有集群中当前datanode上的块可用时,才能够读取文件。但文件修改操作(包括写、删除或重命名)均会失败。

5、系统中数据块的位置是由谁来维护的?

    需要强调的是,系统中数据块的位置并不是由namenode维护的,而是以块列表的形式存储在datanode中

6、namenode会在哪儿保留所有块位置的映射信息?

    在系统的正常操作期间,namenode会在内存中保留所有块位置的映射信息   

7、安全模式下,namenode、datanode都做了哪些动作? 

    1)、datanode向namenode检查块列表信息。

    2)、namenode不向datanode发出任何块复制或块删除命令。即,执行复制或删除块失败。

详细过程为:

    1)、在安全模式下,各个datanode会向namenode检查块列表信息(即向namenode发送块列表的最新情况)

    2)、namenode了解到足够多的块位置信息之后,即可高效运行文件系统。

    3)、但如果namenode没有检查到足够多的datanode,则需要将块复制到其他datanode,而在大多数情况下这都是不必要的(因为只需等待检查到若干datanode检入),并会极大地浪费集群的资源。

    4)、实际上,在安全模式下,namenode并不向datanode发出任何块复制或块删除的命令。

8、什么时候退出安全模式?

    当满足“最小复本条件”(minimal replication condition),namenode会在30秒钟之后就退出安全模式

9、最小副本条件是指什么?

    最小副本条件是在整个文件系统中有99.9%的块满足最小副本级别(默认值是1,由dfs.replication.min属性设置)。

10、安全模式相关属性

1)、dfs.replication.min

2)、dfs.safemode.threshold.pct

3)、dfs.safemode.extension

如下表:

11、启动一个刚刚格式化的HDFS集群时,namenode是否会进入安全模式?为什么?

    因为系统中还没有任何块,所以namenode不会进入安全模式

12、如何进入和离开安全模式?

    1)、#查看namenode是否处于安全模式?

        hadoop dfsadmin -safemode get

        在HDFS的网页界面也能够显示namenode是否处于安全模式。

    2)#等待namenode退出安全模式

        当用户期望在执行某条命令之前namenode先退出安全模式,如何操作?

        有时用户期望在执行某条命令之前namenode先退出安全模式,特别是在脚本中。使用wait选项能够达到这个目的:

        hadoop dfsadmin -safemode wait

    3)、#进入安全模式

        管理员随时可以让namenode进入或离开安全模式。这项功能在维护和升级集群时非常关键,因为需要确保数据在指定时段内是只读的。

        hadoop dfsadmin -safemode enter

    4)、#离开安全模式                

         hadoop dfsadmin -safemode leave

13、使namenode永远处于安全模式的方法?

        1)、namenode启动阶段,运行hadoop dfsadmin -safemode enter

          namenode在启动阶段会处于安全模式。在此期间也可使用这条命令,从而确保namenode在启动完毕之后不离开安全模式。

        2)、将dfs.safemode.threshold.pct值设为大于1

          另一种使namenode永远处于安全模式的方法是将属性dfs.safemode.threshold.pct的值设为大于1











   


© 著作权归作者所有

hiqj
粉丝 24
博文 208
码字总数 92586
作品 0
渝北
程序员
私信 提问
【电子书】Hadoop实战手册 (样章第一章)

Hadoop实战手册 [美] Jonathan R. Owens,Jon Lentz,Brian Femiano 著; 傅杰,赵磊,卢学裕 译 内容简介   这是一本Hadoop实用手册,主要针对实际问题给出相应的解决方案。《Hadoop实战手...

dwf07223
2018/06/28
0
0
Hadoop专业解决方案-第12章 为Hadoop应用构建企业级的安全解决方案

一、前言:   非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,春节期间,项目进度有所延迟,不过元宵节以后 大家已经步入正轨, 目前第12章 为Hadoop应用...

张子良
2014/02/18
253
0
Hadoop专业解决方案-第一章 大数据和Hadoop生态圈

一、前言:   非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在...

张子良
2014/01/21
594
0
配置ssh公钥登录提示还是输入密码

一、知识点补充: 在客户端来看,SSH提供两种级别的安全验证 第一种级别(基于密码的安全验证),知道帐号和密码,就可以登录到远程主机,并且所有传输的数据都会被加密。 第二种级别(基于密...

zouqingyun
2016/11/18
0
0
第9章-构建Hadoop集群-笔记

控制脚本 Hadoop内置一些脚本来运行指令,在集群内启动和终止守护进程。 这些脚本存放在bin目录中,通过masters和slaves文件指定集群内的所有机器。 1、masters文件,主要记录运行辅助namen...

hiqj
2014/09/15
228
0

没有更多内容

加载失败,请刷新页面

加载更多

MBTI助你成功,让你更了解你自己

MBTI助你成功,让你更了解你自己 生活总是一个七日接着又一个七日,相信看过第七日的小伙伴,很熟悉这段开场白,人生是一个测试接着又一个测试,上学的时候测试,是为了证明你的智力,可谓从...

蛤蟆丸子
今天
55
0
Android实现App版本自动更新

现在很多的App中都会有一个检查版本的功能。例如斗鱼TV App的设置界面下: 当我们点击检查更新的时候,就会向服务器发起版本检测的请求。一般的处理方式是:服务器返回的App版本与当前手机安...

shzwork
昨天
72
0
npm 发布webpack插件 webpack-html-cdn-plugin

初始化一个项目 npm init 切换到npm源 淘宝 npm config set registry https://registry.npm.taobao.org npm npm config set registry http://registry.npmjs.org 登录 npm login 登录状态......

阿豪boy
昨天
87
0
java基础(16)递归

一.说明 递归:方法内调用自己 public static void run1(){ //递归 run1(); } 二.入门: 三.执行流程: 四.无限循环:经常用 无限递归不要轻易使用,无限递归的终点是:栈内存溢出错误 五.递...

煌sir
昨天
63
0
REST接口设计规范总结

URI格式规范 URI中尽量使用连字符”-“代替下划线”_”的使用 URI中统一使用小写字母 URI中不要包含文件(脚本)的扩展名 URI命名规范 文档(Document)类型的资源用名词(短语)单数命名 集合(Co...

Treize
昨天
69
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部