kafka参数解释

刘超 18天前 ⋅ 126 阅读   编辑

1、partions参数
  主题分区数。kafka通过分区策略,将不同的分区分配在一个集群中的broker上,一般会分散在不同的broker上,当只有一个broker时,所有的分区就只分配到该Broker上。消息会通过负载均衡发布到不同的分区上,消费者会监测偏移量来获取哪个分区有新数据,从而从该分区上拉取消息数据。

  分区数越多,在一定程度上会提升消息处理的吞吐量,因为kafka是基于文件进行读写,因此也需要打开更多的文件句柄,也会增加一定的性能开销。如果分区过多,那么日志分段也会很多,写的时候由于是批量写,其实就会变成随机写了,随机 I/O 这个时候对性能影响很大。所以一般来说 Kafka 不能有太多的 Partition。

  下图设置topic-1的partions为3,会自动分配在不同的broker上,采用均匀分配策略,当broker和partions一样时,就均匀分布在不同的broker上。

 

2、replication-factor参数
  用来设置主题的副本数。每个主题可以有多个副本,副本位于集群中不同的broker上,也就是说副本的数量不能超过broker的数量,否则创建主题时会失败。

  比如partions 设置为20,replicationFactor设置为1. Broker为2.可以看出,分区会均匀在broker上进行分配。

 

   比如partions 设置为10,replicationFactor设置为2. Broker为2.每个broker都有副本存在。

参考文章

1、https://www.cnblogs.com/lgjlife/p/10569187.html


注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: