时间戳

首页 > 解决方案 > 在 spark 2.4.X 中获取 kafka 标头

apache-spark - 在 spark 2.4.X 中获取 kafka 标头

问题描述

如何在 Spark Structured Streaming 中获取 Kafka 标头字段（在 Kafka 0.11+ 中引入）？

我看到头文件实现是在 Spark 3.0 中添加的，但在 2.4.5 中没有。我看到默认情况下 spark-sql-kafka-0-10 使用的是 kafka-client 2.0。

如果无法使用 Spark 读取 Kafka 标头，那么您能提出任何替代方案吗？

标签： apache-sparkspark-structured-streamingspark-streaming-kafka

解决方案

我没有找到在 spark 2.X 中执行此操作的方法。如果用例简单，可以使用 Kafka 连接 SMT

推荐阅读