Kafka

  • 2021-05-28 16:00:02
  • Post By 高景洋
背景: 业务中出现kafka重复消费问题,导致同一条数据重复处理多次,并推给下游业务方,增加了下游业务方的数据处理压力。 产生重复消费的原因: 1、产生重复消费的原因,是kafka自身问题的可能性很少 2、通常原因为 正在运行中的程序,被kill掉,导致offset未提交成功。该情况下,程序下次拉起来时,会接着上次未提交成功的offset继续消费,导致部分数据重复消费。 3、我们的原因(坑): 消费代码如下 for msg in consumer: XXXXXXXxXXXXXXX XXXXXXXXXXXXXXX if data_source_id == JobDataSourceType.KafkaCollectResult.value and period_minutes < cycle_period_minutes: #
查看全文 | 浏览次数(2617)
  1. 1