pyspark - 我可以在 zeppelin 的“sh”命令中包含一个变量吗？

Question

我在 Spark 集群上使用 Zeppelin 和 Hadoop。

我想运行一个命令来检查 s3 上的文件，并且我想使用一个变量。

这是我的代码

%sh

aws s3 ls s3://my-bucket/my_folder/

我可以my-bucket/my_folder/用变量替换吗？

标签： pysparkapache-zeppelin

Answer 1

“变量”是什么意思？Python变量？如果是这样，我不确定。但是，如果您只想将路径拉到另一行，则可以使用 shell 变量：

%sh

export AWS_FOLDER=my-bucket/my_folder/
aws s3 ls s3://$AWS_FOLDER