pyspark - 如何使用已安装的软件包运行 PySpark？

Question

通常，当我运行时pyspark，graphframes我必须使用以下命令：

pyspark --packages graphframes:graphframes:0.8.1-spark3.0-s_2.12

在第一次运行时，这将安装软件包graphframes，但下次不会。在.bashrc文件中，我已经添加了：

export SPARK_OPTS="--packages graphframes:graphframes:0.8.1-spark3.0-s_2.12"

但是如果我不添加选项，我将无法导入包--packages。

如何pyspark使用graphframes这个简单的命令运行？

pyspark

标签： pysparkgraphframes

Answer 1

你可以制作一个像myspark.shtriggers这样的包装脚本pyspark --packages graphframes:graphframes:0.8.1-spark3.0-s_2.12，这将是最简单的解决方案。