时间戳

首页 > 解决方案 > 用于 Spark Streaming 的 Kafka 连接器版本

apache-spark - 用于 Spark Streaming 的 Kafka 连接器版本

问题描述

可供下载的最新版 Kafka 是 Kafka 2.1.0。但是为了在 Spark Streaming 或 Spark Structured Streaming 中使用 Kafka，我们分别使用以下连接器：

spark-streaming-kafka-0-10_2.11
spark-sql-kafka-0-10_2.11

我的问题是，连接器似乎适用于 Kafka 版本 0.10.0.0，因为连接器的名称包括 0-10。这里有什么我不明白的地方，还是我们真的在使用适用于更旧版本 Kafka 的连接器？

标签： apache-sparkapache-kafkaapache-spark-sqlspark-streaming

解决方案

对于 Spark Structure Streaming 2.4，使用 Kafka Client 2.0。

0-10 表示兼容 0.10 或以上版本的 Kafka Brokers。

您可以pom.xml在 spark 项目中检查它： https ://github.com/apache/spark/blob/branch-2.4/external/kafka-0-10-sql/pom.xml#L33

推荐阅读