时间戳

首页 > 解决方案 > 如何在 VSCode 中运行 Spark 批处理作业

visual-studio-code - 如何在 VSCode 中运行 Spark 批处理作业

问题描述

我正在尝试在 VS 代码中运行批处理作业，但我一直收到一个错误，告诉我先登录，我不知道为什么。我的 settings.json 是用我的文件设置的：

{
    "hdinsightJobSubmission.ClusterConf": [
        {
            "name": "Hue: http://xumclu123.td.knv:8998 (franklinm23)",
            "filePath": "c:\\Users\\franklinm23\\Spark\\HelloWorld.py"
        }
    ],
    "python.pythonPath": "C:\\Users\\franklinm23\\.msvscode.hdinsight\\hdinsightJupyter\\Scripts\\python.exe"
}

当我右键单击我的 helloworld.py 时，我得到以下输出：

[2021-1-15:13:54:21] [Info] Set Hive: http://xumclu123.td.knv:8998 as the default job submission cluster!

然后，当我右键单击 Spark：PySpark Ba​​tch 时，我得到：

[2021-1-15:13:56:13] [Info] start submitting spark application to cluster Hive: http://xumclu123.td.knv:8998 (franklinm23)
[2021-1-15:13:56:13] [Error] Error: please sign in at first!

我已经尝试了所有集群，它们都在运行。我在这缺少什么？

标签： visual-studio-codevscode-settingsspark-submit

解决方案

用户未正确登录。

推荐阅读