apache-spark - 将 Scalapb 与 spark 结构化流和 java 生成的 protobuf 类一起使用

Question

我正在从事的项目处于规划/原型设计阶段，我们希望使用 Kafka 中的 protobuf 编码消息和结构化流将我们的数据流式传输到 spark 3 中。我们已经使用火花流（与结构化流）进行原型设计，我们可以在其中指定 Kafka 将使用的 serde 类，但对于结构化流，它显然不同。

从我到目前为止所读到的，似乎最干净的方法是使用 scalapb。它的文档看起来很简单（谢谢！）但是我无法确定它是否可以与现有的生成的 Java protobuf 类一起使用，或者我是否还必须生成这些相同 .proto 文件的 Scala 版本。

使用文档@ https://scalapb.github.io/docs/sparksql中的示例， Person 类可以是 Java 还是 Scala？

标签： apache-sparkscalapb

Answer 1

SparkSQL-ScalaPB 仅适用于 ScalaPB 生成的代码。