时间戳

首页 > 解决方案 > 用户“livy”无法在 EMR 中创建本地目录

apache-spark - 用户“livy”无法在 EMR 中创建本地目录

问题描述

我正在通过apache livy从AWS Step Function将pyspark作业提交到EMR集群。pyspark 作业会触发Unix shell命令。

在test.py中，

subprocess.call(' echo $USER', shell=True, stdout=None, stderr=None)
subprocess.call(' mkdir /mnt/data', shell=True, stdout=None, stderr=None)

日志文件具有以下输出：

livy
mkdir: cannot create directory ‘/mnt/data’: Permission denied

即使使用 sudo，用户“livy”也无法创建目录。我需要这个脚本来创建一个目录，怎么做？

标签： apache-sparkunixpysparkaws-step-functionslivy

解决方案

用户“livy”无权在 EMR 中创建目录。

但是要创建目录，我们可以使用引导脚本。否则，我们可以在创建 EMR 集群时使用“步骤”。

通过引导创建目录时，需要 sudo 用户权限。

推荐阅读