python - 查看 Pyspark 对象内的文本

Question

我可以使用以下命令加载日志文件：

logFile = sc.textFile("/resources/jupyterlab/labs/BD0211EN/LabData/notebook.log")

但是当我尝试查看log文件内容时，我做不到。我检查了dir(logFile)，但我看不到里面的内容。现在，当我在 Jupyter 单元中运行代码时，我得到以下信息：

/resources/jupyterlab/labs/BD0211EN/LabData/notebook.log MapPartitionsRDD[1] at textFile at NativeMethodAccessorImpl.java:0

是否可以查看日志文件的内容？

谢谢

标签： pythonpython-3.xpyspark

Answer 1

我想你需要的是以下内容：

logFile.collect()

这将向您显示拆分线的内容。