apache-kafka - 卡夫卡连接 FileStreamSink 不完全一次

Question

我正在考虑使用 FileStreamSink Kafka Connect 连接器来完成一些存储工作，但据我了解，使用此文件连接器时不可能只有一次语义（我可以将记录写入文件，然后在提交到 Kafka 之前崩溃） . 在使用另一种解决方案（例如 s3 sink 连接器提供 EOS）之前，我只想确保我是对的并且 FileStreamSink 不提供 EOS。

有人可以确认吗？

标签： apache-kafkaapache-kafka-connect

Answer 1

这是正确的，它没有。FileStream 连接器实际上仅用于演示/PoC，它们并非设计为具有人们可能期望的此类功能（例如 EOS）的“生产级”功能。

正如您所说，S3 接收器确实支持 EOS。