1
2
3
4
5
6
7
连击 天
fork: star:
加载中
原
荐
浅谈iceberg的存储文件
这是我的第100篇原创文章 【前言】 上一篇文章介绍了如何通过java api对iceberg进行操作。这次我们来聊聊iceberg里的存储文件。 iceberg中的持久化存储的文件可以简单的分为数据文件和元数据...
原
荐
iceberg的java api使用
【前言】 了解一个组件的最好方式是先使用该组件，今天我们就来聊聊如何通过java api对iceberg进行操作。 为什么是选择api进行介绍，而不是更通用的flink、spark、hive等。一方面是觉得flink...
原
kafka事务剖析
【kafka事务简介】 在kafka的0.11版本中，引入了kafka事务的特性，确保在一个事务中发送的多条消息，要么都成功，要么都失败。这里说的多条消息可以是发送给不同topic的多个消息。 kafka事务...
原
荐
avro格式详解
【Avro介绍】 Apache Avro是hadoop中的一个子项目，也是一个数据序列化系统，其数据最终以二进制格式，采用行式存储的方式进行存储。 Avro提供了： 丰富的数据结构 可压缩、快速的二进制数据...
原
kafka的消费者组（下）
上一文对消费者组的一些概念，基本原理进行了简单描述，本文继续来聊聊消费者组中另外一个比较重要的内容：偏移量的存储。 【消费者偏移量的提交】 1. 消息消费的整体流程介绍 消费者在成功加...
原
荐
kafka的消费者组（上）
最近在排查一个sparkstreaming在操作kafka时，rebalance触发了一个异常引起任务失败，而组内小伙伴对消费者组的一些基本知识不是很了解，所以抽了些时间进行相关原理的整理。本文就来聊聊相关...
原
荐
kafka的消息持久化文件
最近排查kafka的问题，涉及到了kafka的消息存储，本文就相关内容进行总结。 我们都知道，topic是有分区（partition）的概念的， 生产者往同一个topic发送的消息最终是发送到了不同的分区里面...
原
荐
issue:yarn-11396
在容量调度方式中，队列的capacity参数是作用于单个用户可以使用的资源上限，这个在文章《YARN——正确理解容量调度的capacity参数》一文中详细讲解过。 然而，最近一次发测自验过程中，发现...
原
kafka之ranger插件的一个坑
之前文章写过kafka的鉴权，以及集成ranger插件的配置使用。但真正在用起来后，发现里面有个坑，本文就来聊聊这个坑的情况以及排查过程。 【问题现象】 kafka在集成了ranger插件实现鉴权功能后...
原
kafka中 DescribeLogDirs请求参数引起的一个问题
某天，测试人员找到我，反馈说CI的kafka用例失败了，麻烦定位一下。 "麻烦先找下我们的小马甲——公共服务"，这句话还没发出去，对方已经先把环境信息给发了过来。 想想应该是个小问题，索性...
原
一次flink任务重试失败的问题分析
【背景】 在研究flink任务失败重试的过程中，遇到了一个问题，具体表现为：在任务重试时，出现与NN连接失败，触发新的一次重试，然后重复此流程，直到达到重试上限后，任务失败退出。 本文就...
原
yarn container的进程以及kill动作的逻辑
【背景】 在一次问题排查过程中，误杀了yarn任务container的其中一个进程，导致yarn application kill不再生效，并且在rm中任务状态显示为失败，但实际进程还在运行。在分析问题的同时，抽时...
原
InetAddress.getByName背后发生了什么
【背景】 在一次问题排查过程中，发现偶现调用"InetAddress.getByName()"无法通过域名解析到IP（实际在容器中都能正确解析到），因此怀疑和容器的DNS解析有问题。但在与容器的开发兄弟沟通过...
原
hdfs回收站的配置使用与注意事项
【概述】 在hdfs使用过程中，通过"rm"命令可以进行文件的删除，然后有时候，难免会出现误删了某个文件。那么hdfs是否存在回收站的功能，文件删除而不是真的删除，而是先进入垃圾回收站，这样...
原
yarn中的事件分发与状态机框架
【概述】 在早之前的文章《YARN——任务提交启动流程》中提到了，其处理逻辑是围绕applicaiton、container、attempt实例对象的创建，各自状态机的变化来实现的。 具体来说，是将处理逻辑抽象...
原
hdfs的一个运维小技巧
【前言】 对于hdfs而言，磁盘故障的处理或者节点的扩容是比较常见的运维操作。对于这种场景的运维操作是相对比较简单的，但关键在于如何快速的使数据在各个dn之间平衡，或者快速的使block数据...
原
荐
zk session expire会引起HA模式的rm一直处于standby吗
【概述】 最近连续在多个环境中遇到了同一个问题：在HA模式下，两个resourcemanager均为standby，并且持续没有选举出新的leader。经过一番分析，并对照源码梳理问题出现前后的逻辑流程，最后...
原
荐
yarn节点属性及调度
【节点属性产生的背景】 在2.X版本中，已经支持节点设置标签，并且允许容量调度中的队列，设置可访问的节点标签以及默认标签值，并按照节点标签进行调度。 但一个节点只能有1个标签，这样在y...
原
荐
基于ranger的kafka权限控制
上一篇文章讲到了kafka中的ACL，也提到了是以插件式的形式实现的，本文就来聊聊基于ranger的kafka访问控制。 【ranger插件安装】 要使用ranger插件，首先需要对ranger的kafka插件包进行解压缩...
原
荐
kafka的访问控制
【概述】 通常情况下，Kafka部署后都是自己的业务进行生产消费，但也有一些情况，比如通过kafka和第三方对接，甚至是多个三方对接；或者是多用户使用同一套kafka集群，各自使用不同的topic。...
没有更多内容
加载失败，请刷新页面
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
评论删除后，数据将无法恢复