python - PySpark Juypter 笔记本显示器

Question

我对 jupyter notebook 很陌生，我正在努力以类似于普通熊猫数据框（图 2）的更简洁的方式显示我的 spark 表（图 1）。我试图不使用熊猫。

显示功能在 spark 数据帧上不起作用 :( 有人可以帮我吗？这将使我更容易分析 spark 表。

标签： pythonpysparkapache-spark-sqljupyter-notebook

Answer 1

构建 spark 会话时，添加配置。

.config("spark.sql.repl.eagerEval.enabled", True)

例如，

import findspark
findspark.init()

from pyspark.sql import SparkSession

spark = SparkSession.builder \
          .master("local") \
          .config("spark.sql.repl.eagerEval.enabled", True) \
          .getOrCreate()

并且只调用数据框而不.show如下

df

将以这种方式打印结果。