加载中
zk session expire会引起HA模式的rm一直处于standby吗

【概述】 最近连续在多个环境中遇到了同一个问题:在HA模式下,两个resourcemanager均为standby,并且持续没有选举出新的leader。经过一番分析,并对照源码梳理问题出现前后的逻辑流程,最后...

yarn节点属性及调度

【节点属性产生的背景】 在2.X版本中,已经支持节点设置标签,并且允许容量调度中的队列,设置可访问的节点标签以及默认标签值,并按照节点标签进行调度。 但一个节点只能有1个标签,这样在y...

基于ranger的kafka权限控制

上一篇文章讲到了kafka中的ACL,也提到了是以插件式的形式实现的,本文就来聊聊基于ranger的kafka访问控制。 【ranger插件安装】 要使用ranger插件,首先需要对ranger的kafka插件包进行解压缩...

kafka的访问控制

【概述】 通常情况下,Kafka部署后都是自己的业务进行生产消费,但也有一些情况,比如通过kafka和第三方对接,甚至是多个三方对接;或者是多用户使用同一套kafka集群,各自使用不同的topic。...

一文讲透hdfs的delegation token

【背景】 前一段时间总结了hadoop中的token认证、yarn任务运行中的token,其中也都提到了delegation token。而最近也遇到了一个问题,问题现象是:flink任务运行超过七天后,由于宿主机异常导...

kafka客户端消息发送逻辑

【引言】 最近遇到了一个和kafka相关的问题,具体是在spark任务在一定并行度的情况下, 偶现个别executor因kafka消息发送超时导致失败的情况。正所谓磨刀不误砍柴工,为了能较好的定位问题,...

源码阅读之我见

【概述】 在很多技术交流群里,都看到过同样一个问题:如何阅读源码? 很多情况下,我们对一些开源的组件会用、或者通过官方文档、实际部署测试对其原理有一定程度的理解就可以了,不一定需要...

容量调度绝对值配置队列使用与避坑

【概述】 在yarn中,对于容量调度而言,需要配置不同的队列,并为队列分配不同的资源。然而资源的配置是按照集群总资源的百分比来的,那么,如果集群资源进行扩容,队列的资源也就相应的增加...

2.X版本的一个通病问题

【概述】 对于配置了HA模式的RM或者NN,客户端如果向standby的节点发送请求,会因为不可连接或standby拒绝提供服务导致请求失败,转而向Active的节点发送请求,这个转换是hadoop客户端内部自...

被这个参数三杀了

最近接连排查了几个问题,居然都是同一个参数引起的,本文就通过实际案例讲述下该参数如何引发问题的,以及问题最终又是如何解决的~ 【First Blood】 在我们的环境中,RM是基于HA的方式部署的...

yarn任务信息的几种获取方式

在问题定位、日常巡检、特定开发任务中,都会涉及查看yarn任务的相关信息,包括applicaiton的ID、类型、名称、起始时间、app所包含的container、以及每个container的日志文件内容等信息。本文...

YARN任务运行中的Token

上一篇文章中,主要讲解了token的一些通用知识,以及hadoop中,token的实现和通用数据结构及流程。 本文主要讲述yarn任务提交运行过程中涉及的几个重要token:AMRMToken,NMToken,Container...

hadoop中的token认证

周更快变成月更了,但还是要坚持,本文来聊聊hadoop中的token,涉及到的点如下图所示。 【Hadoop为什么需要Token】 hadoop最初的实现中并没有认证机制,这意味着存储在hadoop中的数据很容易泄...

一文搞懂hadoop中的用户

又有一段时间没有更新了,最近忙着搬砖的同时,也填了一些坑,其中不少坑是有关联的,甚至其中有一个配置项接连引发了两三个问题,后续打算逐个总结输出,这里先进行一些铺垫~ 【hadoop的用户...

2022/04/23 00:13
1.4K
问题不难,但藏得有点深

【问题现象】 上周,测试环境偶现创建策略失败,查看ranger的日志发现有如下的错误信息: 2022-03-21 20:14:29,685 [http-bio-6080-exec-13] ERROR org.apache.ranger.rest.ServiceREST (Se...

2022/04/03 23:03
193
HDFS的集群信息

【概述】 我们都知道整个hdfs由nn+zkfc,dn,jn组成,这些可能运行在不同节点上的组件能组成一个集群,其中包含了共同的集群信息,并且各自将集群信息持久化存储到了本地,这个文件就是VERSI...

HDFS——JN扩容的正确姿势

【前言】 有一段时间没有更文了,一方面是之前准备的hudi系列由于一些细节还没研究得很清楚,暂时没有继续更新。另一方面,最近事情相当多,回家后收拾收拾就十一二点了,也就没有再进行总结...

从hudi持久化文件理解其核心概念

【概述】 这是hudi系列的第一篇文章,先从核心概念,存储的文件格式加深对概念的理解,后续再逐步对使用(spark/flink入hudi,hudi同步hive等)、原理(压缩机制,索引,聚族等)展开分享~ ...

如何系统学习hdfs

这一年多的时间里,hdfs源码(原理)分析累计也写了30多篇文章了,来一篇文章进行汇总。这篇文章将按照自己的理解来系统的梳理下,应该如何系统的学习hdfs。 先直接上个脑图: 入门 首先得了...

一文搞懂hadoop的metrics

【概述】 一个成熟的项目通常都会自带提供metric,反映运行时内部的各个信息,以方便进行监控运维。hadoop也不例外,通过jmx可以查看内部各个metrics信息,本文就来聊聊hdfs的metrics。 【M...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部