个人空间 - OSCHINA - 中文开源技术交流社区

陈猿解码

当你的才华还撑不起你的野心时，那你就应该静下心来学习

2.5K

经验值

2K

开源豆

关注私信

连击天

fork: star:

加载中

这是我的第106篇原创文章一、安全模式简介在hdfs中，namenode为保证数据一致性、可靠性，而进入的一种状态，称之为安全模式（SafeMode）。在安全模式下，客户端只能进行数据的读取操作，而...

hdfs 文件系统 https support release namenode apache jira datanode safemode block resource

2024/09/10 22:34

99

这是我的第105篇原创文章慢盘检测引入的背景 hdfs作为一个存储系统，势必会使用大量的磁盘。然而，在长期的使用过程中，磁盘也难免会磨损，出现损坏的磁道或扇区，导致磁盘读写变慢，IO操作...

hdfs metrics https spark weixin support jira flink apache 存储系统 hadoop block namenode queue

2024/08/29 00:05

12

这是我的第104篇原创文章问题由来在使用kafka时，创建topic，对某个topic进行扩分区的操作，想必大家肯定都使用过。尤其是集群进行扩容时，对流量较大的topic进行扩分区操作。一般而言，期...

controller kafka topic broker server zookeeper bootstrap support fixedstartindex startpartitionid

2024/08/22 23:36

70

前言去年在准备写书，很长一段时间没有更新文章，但最终还是因为自己的原因没有坚持写完，在这之后又有一段时间没有找到动力（实际上是想躺平～），所以没有任何输出。最近突然看到自己的公...

fetch requestqueue 虚拟文件系统 kafka pagecache support 操作系统 reactor wireshark strace

2024/08/15 00:21

60

这是我的第102篇原创文章【V1与V2简介】 Iceberg在V1的格式中定义了，如何使用不可变类型的文件（Parquet、ORC、AVRO）来管理大型分析型的表，包括元数据文件、属性、数据类型、表的模式，分...

iceberg avro snap schema support exist parquet orc deletefile positiondeletes content

2023/05/01 11:37

234

这是我的第101篇原创文章【背景】 kafka基于k8s容器化部署后，对容器设置了存活探针，即检测监听端口是否存在。然而一次kill kafka进程的操作，服务的重启时间（supervisor会自动再拉起kaf...

controller kafka segment support follower fetch server broker supervisor controlledshutdown leader

2023/04/11 23:17

77

这是我的第100篇原创文章【前言】上一篇文章介绍了如何通过java api对iceberg进行操作。这次我们来聊聊iceberg里的存储文件。 iceberg中的持久化存储的文件可以简单的分为数据文件和元数据...

schema delete iceberg json metadata data spec avro records specs filed support snap metrics gzip

2023/03/17 22:00

478

【前言】了解一个组件的最好方式是先使用该组件，今天我们就来聊聊如何通过java api对iceberg进行操作。为什么是选择api进行介绍，而不是更通用的flink、spark、hive等。一方面是觉得flink...

iceberg schema hive spark flink null support trino orc parquet catalog snapshot javaapi scanbuilder

2023/03/10 23:59

798

【kafka事务简介】在kafka的0.11版本中，引入了kafka事务的特性，确保在一个事务中发送的多条消息，要么都成功，要么都失败。这里说的多条消息可以是发送给不同topic的多个消息。 kafka事务...

kafka epoch level support control coordinator topic broker state transaction leader read isolation

2023/03/04 23:11

81

【Avro介绍】 Apache Avro是hadoop中的一个子项目，也是一个数据序列化系统，其数据最终以二进制格式，采用行式存储的方式进行存储。 Avro提供了：丰富的数据结构可压缩、快速的二进制数据...

json schema avro null type tools hadoop records 数据序列化系统 index 远程过程调用

2023/02/24 22:50

1K

上一文对消费者组的一些概念，基本原理进行了简单描述，本文继续来聊聊消费者组中另外一个比较重要的内容：偏移量的存储。【消费者偏移量的提交】 1. 消息消费的整体流程介绍消费者在成功加...

auto kafka fetch support topic flink consumer offset commit outofrange enable offsets value

2023/02/08 23:30

112

最近在排查一个sparkstreaming在操作kafka时，rebalance触发了一个异常引起任务失败，而组内小伙伴对消费者组的一些基本知识不是很了解，所以抽了些时间进行相关原理的整理。本文就来聊聊相关...

kafka fetch support 消息推送 zookeeper sticky topic leader broker rebalance groupcoordinator

2023/01/13 23:51

898

最近排查kafka的问题，涉及到了kafka的消息存储，本文就相关内容进行总结。我们都知道，topic是有分区（partition）的概念的，生产者往同一个topic发送的消息最终是发送到了不同的分区里面...

segment kafka index support magic epoch loglog topic leader partition broker batch recordcount dirs

2023/01/03 23:22

684

在容量调度方式中，队列的capacity参数是作用于单个用户可以使用的资源上限，这个在文章《YARN——正确理解容量调度的capacity参数》一文中详细讲解过。然而，最近一次发测自验过程中，发现...

flink yarn https support container jira spark apache attempt capacity jobmanager taskmanager issue

2022/12/17 06:50

174

之前文章写过kafka的鉴权，以及集成ranger插件的配置使用。但真正在用起来后，发现里面有个坑，本文就来聊聊这个坑的情况以及排查过程。【问题现象】 kafka在集成了ranger插件实现鉴权功能后...

kafka controller ranger hadoop kerberos authenticator principal hashmap https broker support jira

2022/12/09 22:57

96

某天，测试人员找到我，反馈说CI的kafka用例失败了，麻烦定位一下。 "麻烦先找下我们的小马甲——公共服务"，这句话还没发出去，对方已经先把环境信息给发了过来。想想应该是个小问题，索性...

kafka support class 测试人员 broker list topic brokerid describelogdirs kafkaadminclient oschina

2022/11/19 23:14

75

【背景】在研究flink任务失败重试的过程中，遇到了一个问题，具体表现为：在任务重试时，出现与NN连接失败，触发新的一次重试，然后重复此流程，直到达到重试上限后，任务失败退出。本文就...

null flink 文件系统 overlay hdfs hadoop cache debug support classloader properties configuration

2022/11/16 00:14

111

【背景】在一次问题排查过程中，误杀了yarn任务container的其中一个进程，导致yarn application kill不再生效，并且在rm中任务状态显示为失败，但实际进程还在运行。在分析问题的同时，抽时...

executor yarn shell session application java kill signal support container linux hdfs strace wrapper

2022/11/04 23:15

106

【背景】在一次问题排查过程中，发现偶现调用"InetAddress.getByName()"无法通过域名解析到IP（实际在容器中都能正确解析到），因此怀疑和容器的DNS解析有问题。但在与容器的开发兄弟沟通过...

hosts search glibc dns服务器分布式数据库 strace 网络应用 support java jdk

2022/10/21 00:08

68

【概述】在hdfs使用过程中，通过"rm"命令可以进行文件的删除，然后有时候，难免会出现误删了某个文件。那么hdfs是否存在回收站的功能，文件删除而不是真的删除，而是先进入垃圾回收站，这样...

trash home hdfs 文件系统 delete core-support user hadoop hdfsdfs timestamp current skiptrash

2022/10/15 23:42

91

没有更多内容

加载失败，请刷新页面

©OSCHINA(OSChina.NET)

工信部

开源软件推进联盟

指定官方社区

社区规范

北京奥思研工智能科技有限公司版权所有

京ICP备2025119063号

顶部