Kafka Rebalance会导致重复消费吗，为什么？

## 会，Kafka Rebalance 可能导致重复消费 ### 作用 - Rebalance 会重新分配消费者组内各个 Consumer 负责的分区。 - 如果 Rebalance 发生时，部分消息已经被处理但消费位移还没有成功提交，这些消息在分区重新分配后可能被新的 Consumer 再次消费。 - 因此，Rebalance 本身不是“主动复制消息”，但会暴露或造成“已处理、未提交 offset”的区间，从而表现为重复消费。 ### 原理 - 常见消费流程是：Consumer 调用 `poll` 拉取一批数据，业务处理完成后再提交 offset。 - 如果这批数据处理时间过长，超过 `session.timeout.ms` 等相关超时配置，协调器会认为该消费者异常，触发消费者组 Rebalance。 - Rebalance 后，本次消费会失败；如果已经处理过的数据对应的 offset 还没来得及正常提交，Broker 中记录的仍然是旧 offset。 - 分区被重新分配后，新的 Consumer 会从已提交的旧 offset 继续拉取，导致之前处理过但未提交位移的数据被再次消费。 ### 常见诱因与处理思路 - 数据量较大时，单次 `poll` 拉取记录过多，业务处理耗时过长，可能导致频繁 Rebalance。 - 应避免 `poll` 之后的业务处理阻塞下一次 `poll`。 - 可结合实际情况调整： - `max.poll.records`：控制每次拉取的消息量，使单次处理耗时保持稳定； - `session.timeout.ms`：保证会话超时时间大于正常处理时间； - `request.timeout.ms`：通常应大于 `session.timeout.ms`； - `heartbeat.interval.ms`：控制心跳发送间隔。 - 也可以将拉取与业务处理异步化，并通过业务幂等、手动提交位移等方式降低重复消费带来的影响。