java - 从连接器访问偏移存储

Question

我有一个用 Java 编写的源连接器，它运行的是分布式模式，带有 offset.storage.topic = connect-offsets. 提交任务时会填充主题。从我的任务类（扩展 org.apache.kafka.connect.source.SourceTask）中，我可以使用context.offsetStorageReader().

有没有办法从我的连接器类中读取偏移量？

在启动或重新启动连接器时，我希望能够使用此信息来决定如何将分区分配给任务。我通常有少量的“新”分区和大量的“旧”分区，我需要将所有新分区分配给同一个任务，但可以将“旧”分区分配给任何任务。知道分区是否存在条目可以让我弄清楚哪些任务是“新的”（偏移主题没有条目），哪些是“旧的”（偏移主题有条目）。

标签： javaapache-kafkaapache-kafka-connect