时间戳

首页 > 解决方案 > Spring Cloud 流式传输 kinesis binder 消费者组 - kcl 与 dynomodbstore

spring-cloud-stream - Spring Cloud 流式传输 kinesis binder 消费者组 - kcl 与 dynomodbstore

问题描述

使用消费者组管理的建议解决方案是什么。据我了解有两种方法

1) 使用 DynamoDbMetadataStore 和 DynamoDbLockRegistry

2) 使用 AWS 提供的 kpl kcl 功能？见https://spring.io/blog/2019/05/13/spring-integration-aws-2-2-ga-and-spring-cloud-stream-kinesis-binder-1-2-ga-available 默认kpl kcl 被禁用。

两种解决方案的优缺点是什么？

标签： spring-cloud-streamamazon-kinesis

解决方案

@Weso

凭借我对 Spring Cloud Stream Kinesis binder 的短暂经验。

Approach 1.

如果您的 Kinesis 流动态更新分片/在自动缩放时创建额外的使用者。- 再平衡没有发生。有一些事件是所有分片都被单个消费者锁定。

Approach 2:

KPLKCL 正在使用来自 AWS 的 KCL 1.x。

它适用于动态缩放和重新平衡。

注意：您可能会看到当前版本 2.0.2 的 dynamodb 自动表创建问题（我正在使用 2.1.0 - 目前）

推荐阅读