apache-spark - Kafka 代理的 Spark 结构化流式更改 - 对检查点的影响

Question

我们有一个使用内部管理的 Kafka 在生产中运行的 spark 结构化流应用程序（让我们称之为kafka-inhouse）

我们决定迁移到aiven kafka cloud.

假设：

1. 我们消费来自 的所有消息kafka-inhouse，然后将新消息发布到aiven kafka cloud

2. 我们存储 Kafka 消息（使用 spark 流应用程序）的 S3 中的path和checkpoint没有改变。

问题：

Spark 结构化流是否会无缝管理 Kafka 代理中的变化，尤其是在checkpointing我们迁移之后？

标签： apache-sparkapache-kafkaspark-structured-streamingcheckpointing