scala - Spark Structured Streaming 从 kafka 读取不同的事件类型

Question

我有一个包含多种事件类型的 kafka 主题。

我的活动价值如下：

type|name|value1|value2|value3
type|name|value1|value2|value3|value4
type|name|value1|value2

我使用结构化流来读取流 kafka。我想将流数据存储到数据框。结果数据框具有包含所有模式中的列的模式。我可以将每种类型的事件记录存储在数据框中，然后从这些数据框中进行选择并将它们合并以生成数据框吗？

标签： scalaapache-sparkapache-kafkaspark-structured-streaming