Hadoop(2.x)云计算生态系统

Kafka集群管理器

kafka是一个分布式的消息系统,由于分布式系统是由多个分布在不同服务器上面的服务构成的一个复杂的系统。因此,对于集群的开发与维护人员需要能够充分的了解集群的健康状况并且方便管理。

kafka第三方开源的监控工具有很多种:

  • Kafka Web Console
  • KafkaOffsetMonitor
  • Kafka Manager

经过笔者的对比,前两个更像是kafka的监控该工具,而kafka manager不仅仅是监控,而且具备集群的管理功能,而且是由yahoo贡献给开源社区。因此,笔者选择Kafka Manager作为kafka集群的管理工具。

通过Kafka Manager用户能够更容易地发现集群中哪些主题或者分区分布不均匀,同时能够管理多个集群,能够更容易地检查集群的状态,能够创建主题,执行首选的副本选择,能够基于集群当前的状态生成分区分配,并基于生成的分配执行分区的重分配,此外,Kafka Manager还是一个非常好的可以快速查看集群状态的工具。