文档章节

Hadoop的kerberos的实践部署

超人学院
 超人学院
发布于 2015/03/16 14:24
字数 904
阅读 208
收藏 3
点赞 0
评论 0

1.安装:通过yum安装即可,组成KDC。

yum install -y krb5-server krb5-lib krb5-workstation

2.配置:Kerberos的配置文件只有两个。在Hadoop1中创建以下两个文件,并同步/etc/krb5.conf到所有机器。

  • /var/kerberos/krb5kdc/kdc.conf:包括KDC的配置信息。默认放在 /usr/local/var/krb5kdc。或者通过覆盖KRB5_KDC_PROFILE环境变量修改配置文件位置。
    配置示例:
    [kdcdefaults] kdc_ports = 88 kdc_tcp_ports = 88[realms] HADOOP.COM = {  master_key_type = aes128-cts  acl_file = /var/kerberos/krb5kdc/kadm5.acl  dict_file = /usr/share/dict/words  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab  max_renewable_life = 7d  supported_enctypes = aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal }说明:
    HADOOP.COM:是设定的realms。名字随意。Kerberos可以支持多个realms,会增加复杂度。本文不探讨。大小写敏感,一般为了识别使用全部大写。这个realms跟机器的host没有大关系。max_renewable_life = 7d 涉及到是否能进行ticket的renwe必须配置。master_key_type:和supported_enctypes默认使用aes256-cts。由于,JAVA使用aes256-cts验证方式需要安装额外的jar包。推荐不使用。acl_file:标注了admin的用户权限,需要用户自己创建。文件格式是      Kerberos_principal permissions [target_principal]  [restrictions]    支持通配符等。最简单的写法是    */admin@HADOOP.COM      *    代表名称匹配*/admin@HADOOP.COM 都认为是admin,权限是 *。代表全部权限。admin_keytab:KDC进行校验的keytab。后文会提及如何创建。supported_enctypes:支持的校验方式。注意把aes256-cts去掉。

  • /etc/krb5.conf:包含Kerberos的配置信息。例如,KDC的位置,Kerberos的admin的realms 等。需要所有使用的Kerberos的机器上的配置文件都同步。这里仅列举需要的基本配置。详细介绍参考:krb5conf
    配置示例:
    [logging] default = FILE:/var/log/krb5libs.log kdc = FILE:/var/log/krb5kdc.log admin_server = FILE:/var/log/kadmind.log[libdefaults] default_realm = HADOOP.COM dns_lookup_realm = false dns_lookup_kdc = false ticket_lifetime = 24h renew_lifetime = 7d max_life = 12h 0m 0s forwardable = true udp_preference_limit = 1[realms] HADOOP.COM = {  kdc = hadoop1:88  admin_server = hadoop1:749  default_domain = HADOOP.COM }[appdefaults]说明:
    [logging]:表示server端的日志的打印位置[libdefaults]:每种连接的默认配置,需要注意以下几个关键的小配置   default_realm = HADOOP.COM 默认的realm,必须跟要配置的realm的名称一致。   udp_preference_limit = 1 禁止使用udp可以防止一个Hadoop中的错误[realms]:列举使用的realm。   kdc:代表要kdc的位置。格式是 机器:端口   admin_server:代表admin的位置。格式是 机器:端口   default_domain:代表默认的域名[appdefaults]:可以设定一些针对特定应用的配置,覆盖默认配置。

  • 初始化并启动:完成上面两个配置文件后,就可以进行初始化并启动了。
    A.初始化数据库:在hadoop1上运行命令。其中-r指定对应realm。
    kdb5_util create -r HADOOP.COM -s如果遇到数据库已经存在的提示,可以把/var/kerberos/krb5kdc/目录下的principal的相关文件都删除掉。默认的数据库名字都是principal。可以使用-d指定数据库名字。(尚未测试多数据库的情况)。
    B.启动kerberos。如果想开机自启动,需要stash文件。
    /usr/local/sbin/krb5kdc /usr/local/sbin/kadmind至此kerberos,搭建完毕。

  • 搭建Slave KDCs
    为了在生产环境中获得高可用的KDC。还需要搭建Slave KDCs。 TODO 经过各种努力还是不能成功同步,先放下。

  • 测试kerberos,搭建完毕后,进行以下步骤测试Kerberos是否可用。
    A. 进入kadmin在kadmin上添加一个超级管理员账户,需要输入passwd
    kadmin.localaddprinc admin/adminB. 在其它机器尝试通过kadmin连接,需要输入密码
    kinit admin/adminkadmin 如果能成功进入,则搭建成功。

© 著作权归作者所有

共有 人打赏支持
超人学院
粉丝 106
博文 335
码字总数 388917
作品 0
昌平
CTO(技术副总裁)
HAS-插件式Kerberos认证框架

HAS解决方案要点 Hadoop服务以及服务之间继续使用原先的Kerberos的认证机制; 在集群部署的时候可以把节点使用的Keytab放到可靠的节点上, 集群运行时,集群内的节点只有通过认证后才能正常使...

寒沙牧 ⋅ 2017/12/25 ⋅ 0

Hadoop运维记录系列(十九)

Kerberos保护下的Hive排错记录,5月14日,Megadeth北京见。 同事想在zeppelin里面使用Hive,这是在新的kerberos保护下的集群里第一次使用Hive,不幸的是,使用过程中还是出现了验证授权的问题...

Slaytanic ⋅ 2017/05/05 ⋅ 0

基于Hadoop架构下医疗大数据安全的探究

  医疗信息化已正式进入“大数据时代”,医疗大数据解决了海量数据的存储与检索问题,也催生了新的安全问题。如何更好地保护敏感信息及病人隐私,成为大数据时代医院管理面临的一大难题。但...

大数据头条 ⋅ 2017/12/15 ⋅ 0

CDH5.X安装配置kerberos认证过程

CDH-5.2.0-1.cdh5.2.0安装成功,已经运行了几个月了。现在把确实的认证安装配置上。下面是详细的安装配置过程,已经过程中遇到的问题解决办法。 1. 背景 在Hadoop1.0.0或者CDH3 版本之前,h...

dannyhe ⋅ 2015/09/29 ⋅ 0

云上基于Kerberos的大数据安全实践

1. 什么是身份认证 身份认证(Authentication)是用于识别用户身份的过程,只有通过身份认证的用户才有可能访问某些服务。 它涉及三个主体,即用户、认证、服务,他们的关系如下: 1.1 生活中的...

寒沙牧 ⋅ 2017/12/25 ⋅ 0

潜伏在大数据项目中的云安全风险

快速的分析和部署是大数据项目使用云计算的主要原因,而数据安全性和隐私性会减慢这种速度,而且大多数大数据项目的主要驱动力不是安全性而是销量,所以,业务部门会想办法绕过IT团队。 业务...

CashCat ⋅ 2013/07/17 ⋅ 0

Zookeeper、Hdfs配置kerberos认证

一、Zookeeper配置kerberos认证 1、环境说明 根据之前的组件安排如下: 2、配置 ZooKeeper Server 2.1生成keytab 在 74 节点,即 KDC server 节点上执行下面命令: 拷贝 zookeeper.keytab 文...

PeanutLike ⋅ 2016/09/04 ⋅ 0

Hadoop安全管理(1)

Hadoop安全问题: 1:非法的slave节点添加 2:非法的客户端添加 3:非法的应用添加 4:用法身份造假 5:Web界面随意访问 究其原因还是安全的问题 默认支持的安全协议 1:simple,简单,适合单...

lixiyuan ⋅ 2015/08/10 ⋅ 1

2016 圣何塞Hadoop峰会趣味报告集锦

   【IT168 编译】2016圣何塞Hadoop峰会,一些有趣公司的演讲者带来有趣案例。下面是一部分业务重点会议。   什么是数据?你正在做什么?   主讲人:来自RFS产品的Russell Foltz-Smi...

it168网站 ⋅ 2016/06/21 ⋅ 0

Hadoop运维记录系列(十八)

之前为了练习英语用英文写的这个博客,然后被编辑置为转载了,所以想想还是翻译过来比较好。 原文发表于 https://xianglei.tech 确实是我自己原创的。英文很烂,所以才需要练习。 使用Cloud...

Slaytanic ⋅ 2017/04/24 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

笔试题之Java基础部分【简】【一】

基础部分的顺序:基本语法,类相关的语法,内部类的语法,继承相关的语法,异常的语法,线程的语法,集合的语法,io 的语法,虚拟机方面的语法,其他 1.length、length()和size() length针对...

anlve ⋅ 27分钟前 ⋅ 2

table eg

user_id user_name full_name 1 zhangsan 张三 2 lisi 李四 `` ™ [========] 2018-06-18 09:42:06 星期一½ gdsgagagagdsgasgagadsgdasgagsa...

qwfys ⋅ 52分钟前 ⋅ 0

一个有趣的Java问题

先来看看源码: public class TestDemo { public static void main(String[] args) { Integer a = 10; Integer b = 20; swap(a, b); System.out......

linxyz ⋅ 56分钟前 ⋅ 0

十五周二次课

十五周二次课 17.1mysql主从介绍 17.2准备工作 17.3配置主 17.4配置从 17.5测试主从同步 17.1mysql主从介绍 MySQL主从介绍 MySQL主从又叫做Replication、AB复制。简单讲就是A和B两台机器做主...

河图再现 ⋅ 今天 ⋅ 0

docker安装snmp rrdtool环境

以Ubuntu16:04作为基础版本 docker pull ubuntu:16.04 启动一个容器 docker run -d -i -t --name flow_mete ubuntu:16.04 bash 进入容器 docker exec -it flow_mete bash cd ~ 安装基本软件 ......

messud4312 ⋅ 今天 ⋅ 0

OSChina 周一乱弹 —— 快别开心了,你还没有女友呢。

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @莱布妮子 :分享吴彤的单曲《好春光》 《好春光》- 吴彤 手机党少年们想听歌,请使劲儿戳(这里) @clouddyy :小萝莉街上乱跑,误把我认错成...

小小编辑 ⋅ 今天 ⋅ 8

Java 开发者不容错过的 12 种高效工具

Java 开发者常常都会想办法如何更快地编写 Java 代码,让编程变得更加轻松。目前,市面上涌现出越来越多的高效编程工具。所以,以下总结了一系列工具列表,其中包含了大多数开发人员已经使用...

jason_kiss ⋅ 昨天 ⋅ 0

Linux下php访问远程ms sqlserver

1、安装freetds(略,安装在/opt/local/freetds 下) 2、cd /path/to/php-5.6.36/ 进入PHP源码目录 3、cd ext/mssql进入MSSQL模块源码目录 4、/opt/php/bin/phpize生成编译配置文件 5、 . ./...

wangxuwei ⋅ 昨天 ⋅ 0

如何成为技术专家

文章来源于 -- 时间的朋友 拥有良好的心态。首先要有空杯心态,用欣赏的眼光发现并学习别人的长处,包括但不限于工具的使用,工作方法,解决问题以及规划未来的能力等。向别人学习的同时要注...

长安一梦 ⋅ 昨天 ⋅ 0

Linux vmstat命令实战详解

vmstat命令是最常见的Linux/Unix监控工具,可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,内存使用,虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令...

刘祖鹏 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部