文档章节

Jafka Broker代码阅读之总览

穿林度水
 穿林度水
发布于 2016/11/07 14:27
字数 1039
阅读 11
收藏 0

从本文开始,笔者将尝试从源码角度解读Jafka(Kafka)的特性,探究其背后的实现原理与技术。前面讲解Jafka Broker的文章中有提到下面这段启动服务端的代码,我们就从这里开始。

Properties props = new Properties();
props.setProperty("port","9093");
props.setProperty("log.dir","/home/alfred/jafkaDataDirs/data1");
Jafka broker = new Jafka();
broker.start(props,null,null);
broker.awaitShutdown();

上面代码演示了Jafka一个broker的启动,其顺序图如下所示:

jafka-sq

上图呈现了Jafka Broker启动过程中主要涉及的类和调用方法,可以看到主要的代码集中在Server类的startup方法,其代码如下:

public void startup() {
try {
logger.info("Starting Jafka server "+serverInfo.getVersion());
Utils.registerMBean(serverInfo);
//检查上次服务端是否正常关闭,如果不是,要校验jafka文件,取出损坏的消息
boolean needRecovery = true;
File cleanShutDownFile = new File(new File(config.getLogDir()), CLEAN_SHUTDOWN_FILE);
if (cleanShutDownFile.exists()) {
needRecovery = false;
cleanShutDownFile.delete();
}
//初始化消息数据管理类LogManager,并将所有的消息数据按照一定格式读入内存(非数据内容本身)
this.logManager = new LogManager(config,//
scheduler,//
1000L * 60 * config.getLogCleanupIntervalMinutes(),//
1000L * 60 * 60 * config.getLogRetentionHours(),//
needRecovery);
this.logManager.setRollingStategy(config.getRollingStrategy());
logManager.load();

        //producer和consumer请求处理类,如写消息、抓取消息等
        RequestHandlers handlers = new RequestHandlers(logManager);
        //启动socket server端,处理producer和consumer的请求
        socketServer = new SocketServer(handlers, config);
        Utils.registerMBean(socketServer.getStats());
        socketServer.startup();
        Mx4jLoader.maybeLoad();
        //如果开启了zookeeper连接,则将该broker信息注册到zookeeper中,并开启定时flush消息数据的线程
        logManager.startup();
        logger.info("Server started.");
    } catch (Exception ex) {
        logger.fatal("Fatal error during startup.", ex);
        close();
    } finally {
        serverInfo.started();
    }
}

对于上述代码的意义,可参见注释,另外作以下几点说明:

Jafka broker在正常关闭的时候会在数据文件夹下生成一个.jafka_cleanshutdown的文件,broker 在启动时可以通过检查该文件是否存在来判定上一次broker是否为正常关闭,如果不是正常关闭,那么jafka在打开每个topic-partition文件夹下最后一个jafka文件时会去校验其消息数据(即jafka文件),如果发现其上某条消息的实际长度不等于消息头中指定的长度,说明该消息有问题,则删除它及其以后的消息数据。具体实现后续会有源码分析。

LogManager是消息数据的管理类,负责消息的读写。其中load方法是将该broker数据文件夹下的所有消息数据以一定形式读入内存,以便读写。

SocketServer利用java的nio实现了一个高性能的socket服务器,来处理producer consumer的请求。

Jafka Broker的代码中最主要的两个类便是LogManager和SocketServer,后续文章也会从这两方面展开源码讲解。下面还是先看下Jafka源码结构

src
├── main
│ ├── assembly #maven assembly插件配置文件
│ ├── java
│ │ └── com
│ │ └── sohu
│ │ └── jafka
│ │ ├── admin #bin/admin-console.sh实现类
│ │ ├── api #request reponse的构建类,封装producer consumer的请求及返回
│ │ ├── cluster #搭建集群用到的一些类
│ │ ├── common #异常类和注解类
│ │ ├── console #bin/producer/consumer-console.sh的实现类
│ │ ├── consumer #consumer实现类
│ │ ├── log #消息数据管理的相关类
│ │ ├── message #消息数据的相关类,如格式定义、Message和offset的封装等
│ │ ├── mx #jmx的相关类,用于监控broker运行状况和管理broker
│ │ ├── network #socket服务器实现类
│ │ ├── producer #producer实现类
│ │ ├── server #broker的实现类,主要负责各类配置文件的封装,调用network和log下的SocketServer和LogManager启动服务端
│ │ └── utils #实用类封装
│ └── resources
└── test
├── java #测试方法,可以以此为入口学习jafka的使用和源码阅读
│ └── com
│ └── sohu
│ └── jafka
│ ├── admin
│ ├── api
│ ├── cluster
│ ├── common
│ ├── consumer
│ ├── log
│ ├── message
│ ├── producer
│ ├── server
│ └── utils
└── resources

小结

与Jafka broker相关的源码文件夹主要有server network log三个文件夹,大家在阅读源码的时候可以先从相关的单元测试文件下手,这样不至于陷于源码的茫茫森林里迷失方向。对于broker这一块,笔者后续会从Socket服务器和LogManager消息数据管理这两个方面展开来讲解。Jafka的源码实现清晰明了,非常值得学习,欢迎感兴趣的读者可以阅读并与笔者交流感悟。
Jafka Broker代码阅读之总览

© 著作权归作者所有

穿林度水
粉丝 0
博文 250
码字总数 167120
作品 0
海淀
程序员
私信 提问
Jafka 1.2.0 发布,分布式消息系统

Jafka 是一个高性能的分布式消息系统。Jafka已经开源,使用github托管,主页地址:https://github.com/adyliu/jafka Jafka 发布1.2.0版本,更新记录: 增加创建Topic的命令 Issues 4 增加监控...

imxylz
2012/06/26
1K
2
分布式消息系统--Jafka

Jafka 是一个高性能的跨语言分布式消息系统。Jafka已经开源,使用github托管。 Jafka是由Apache孵化的Kafka(由LinkedIn捐助给Apache)克隆而来。Jafka 1.0完整遵循Kafka 0.7的规范,几乎是K...

imxylz
2012/06/05
19.2K
1
kafka系列文章索引(结束)

apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现,这里写个索引,关于kafka的文章暂时就更新到这里,最近利用空闲时间在对 kafka做一些功能性增强,并java化,虽然现在...

老先生二号
2017/05/28
0
0
消息系统kafka及其变种Jafka、Metamorphosis (MetaQ)

1、Kafka : 基于scala kafka是一个发布订阅的消息系统,关注于海量数据、性能和吞吐量,不关注可靠性和事务。 -------------------- 以下内容来自oschina的介绍 kafka是一种高吞吐量的分布式...

岸芷汀兰
2016/01/04
92
1
各类消息队列MQ比较

目前业界有很多MQ产品,我们作如下对比: RabbitMQ 是使用Erlang编写的一个开源的消息队列,本身支持很多的协议:AMQP,XMPP, SMTP, STOMP,也正是如此,使的它变的非常重量级,更适合于企业...

郏高阳
2016/05/24
847
0

没有更多内容

加载失败,请刷新页面

加载更多

饿了么交付中心语言栈转型总结

前言: 本文介绍了饿了么交付中心由python语言栈转换到java语言栈大致过程,一来是对前段时间的工作做下总结,另外也是想通过此次总结为其他应用服务转型提供些借鉴。写的不好,欢迎板砖。 背...

一肥仔
28分钟前
4
0
移植linux4.14内核到4412开发板

最近法师收到了很多留言,其中有一部分问法师什么时候更新,还有一大部分问法师我是买迅为的IMX6UL精英版好呢还是买4412精英版好呢,因为我们这俩个都不贵。法师的建议的是入手4412!为什么呢...

书白
32分钟前
7
0
提高GMAT语法能力方法解析,掌握技巧高分不是梦

GMAT考试对考生语法能力的要求涉及各部分的题目,熟练掌握语法知识对于考生获得高分有巨大的帮助。因此,学好GMAT语法,显得非常重要。下面小编就介绍一些提高GMAT语法能力的方法技巧。 做题...

bole6
35分钟前
6
0
100天搞定机器学习|day54 聚类系列:层次聚类原理及案例

几张GIF理解K-均值聚类原理 k均值聚类数学推导与python实现 前文说了k均值聚类,他是基于中心的聚类方法,通过迭代将样本分到k个类中,使每个样本与其所属类的中心或均值最近。 今天我们看一...

机器学习算法与Python实战
38分钟前
5
0
创龙TI KeyStone C66x多核定点/浮点DSP TMS320C665x底板B2B连接器、电源接口和拔码开关

TL665x-EasyEVM是广州创龙基于SOM-TL665x核心板研发的一款TI C66x多核定点/浮点高性能DSP开发板,采用核心板+底板方式,底板尺寸为200mm*106.65mm,采用4*50pin和1*80pin B2B工业级连接器,稳...

Tronlong创龙
40分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部