apache-spark - PYSPARK_PYTHON 环境变量是否仅适用于登录用户？
问题描述
这可能更像是一个 Linux 问题，但我正在运行一个带有 UDF 的 Pyspark 作业，该 UDF 依赖于 Python3（不是 Python2）的内置模块。所以，基本上工作炸弹因为执行程序/驱动程序正在运行 Python2。无论如何，我想设置PYSPARK_PYTHON环境变量以使用 Python3，但我在其他人用来执行 Pyspark 作业的系统上。我使用特定的用户帐户来执行我的工作，所以我只想确定我是否设置了该PYSPARK_PYTHON变量，它只适用于我的帐户，而不是如果执行程序 python 版本由于我的设置而突然改变可能影响的其他人这个。
解决方案
推荐阅读
- python-3.x - 如何用列表中的“无”替换不存在的元素[PYTHON]
- linkedin - 是否可以将 AutoFill Linkedin 集成到 elementor 表单中？
- ios - SocketRocket IOS Swift 无法重新打开它正在崩溃的套接字
- android-recyclerview - 水平 recyclerView 中的项目比垂直 recyclerView 显示不正确
- python - 给定一个句子，返回一个单词颠倒的句子
- java - 如何轻松地从 Intellij 制作 jar 文件并正确运行？
- python - 尝试使用 BeautifulSoup 写入时出现文件模式错误
- amazon-web-services - 无法连接到 Amazon EC2 实例上的自定义端口
- javascript - 从项目中删除文件时包裹捆绑器“ENOENT：没有这样的文件或目录”
- azure - ML.NET 与 Azure ML Studio