broker核心代码设计

主要的核心类如下：

KafkaServer:

根据相关的上下文，创建KafkaServer对象，负责启动broker对象

启动过程

zkClient 初始化=>logManager start()=> socketServer start()=>requestHandlerPool 初始化=>replicaManager start() => kafkaController start() =>topicConfigManager start() => kafkaHealthcheck start()

Broker的核心IO处理在requestHandlerPool 这里面

zkClient初始化

利用第三方的zkclient初始与zk之间的链接，zkclient负责与zk的connection，session的维护。

logManager 初始化

所有的读写请求都将实例化各自的log实例对象。同时，后台的log线程将负责维护partitions与log segment。

socketServer初始化

NIO socket server

• 1 Acceptor thread 负责接收请求，并转给Processor threads 进行处理
• N Processor threads 负责每个socket请求的实际处理
• M Handler threads 负责事件机制催每个Processor 的请求与product请求的消息回复。

replicaManager初始化

负责该broker的partition副本的管理工作

kafkaController初始化

负责该broker的Controller状态的管理工作

topicConfigManager初始化

负责该broker的topic的状态管理工作

kafkaHealthcheck初始化

负责该broker的状态在zk的维护工作

requestHandlerPool初始化

核心IO处理中心，通过事件驱动模式进行处理,维护2个队列，

• 一个是request队列
• 一个是response队列

通过，KafkaApis类匹配handler的事件类型，进行相关的事件的处理。

请求的事件类型共有

• ProduceKey
• FetchKey
• OffsetsKey
• MetadataKey
• LeaderAndIsrKey
• StopReplicaKey
• UpdateMetadataKey
• ControlledShutdownKey
• OffsetCommitKey
• OffsetFetchKey