scala - Spark-Straming 中的 DStream 到 Rdd

Question

我有一个DStream[String,String]，我需要将其转换为RDD[String,String]. 有什么办法吗？我需要使用Scala语言。

提前致谢！！

标签： scalatype-conversionspark-streamingrdddstream

Answer 1

DStream 是 RDD 的离散序列。看看直接流API。

拥有 DStream，使用 forEach 函数，您可以为每个 RDD 应用转换：

val yourStream: DStream[String] = //...

yourStream.forEachRDD{ rdd =>
   // your rdd transformations...
}

您可以在这里查看示例