apache-spark - 既然 SparkSession 是唯一的入口点，为什么 SparkContext 仍然可用？

Question

既然 SparkSession 是唯一的入口点，为什么 SparkContext 仍然可用？SparkContext 将来会被弃用吗？

标签： apache-spark

Answer 1

如果是一个问题“SparkContext 将来会被弃用吗？” ，那么我的回答是，这取决于Spark进一步的发展。

如果您的问题是“为什么它不被弃用并且在 a 中可用spark-shell？” ，那么我的回答是不是每个人都使用Dataframes/ Datasets。此外，在引擎盖下Datasets使用RDDs。看看这个用于为源构建 a的TableScan 接口：您会注意到它返回，并且此时可能需要使用 s 的操作。RelationDataframeRDDRDDSparkContext

您的帖子中的“由于 SparkSession 是唯一的入口点”这句话是错误的。除了SparkSessionand之外SparkContext，还有一个StreamingContextforSpark Streaming用法。

我不确定我的回答有多清楚，但我试图向您澄清此时的不同情况contexts：Spark它们都有不同的目的，并且没有任何内容被弃用。