apache-spark - pyspark：如何获取 spark 数据帧的 Spark SQLContext？

Question

我有一个接受 spark DataFrame 的函数，我想获取 DataFrame 所在的 Spark 上下文。

原因是我想得到，SQLContext所以我可以运行一些 SQL 查询

sql_Context = SQLContext(output_df.sparkContext())
sql_Context.registerDataFrameAsTable(output_df, "table1")
sql_Context.sql("select * from table1") # or some more complicated query

但当然output_df.sparkContext()不起作用。获取 Spark DataFrame 的 sparkContext 的正确方法是什么？

标签： apache-sparkpyspark

Answer 1

output_df.rdd.context做这项工作