python - SPARK 2.4.4 中的 log4j.properties

Question

我用 Python 3.7.6 安装了 Spark Apache 2.4.4，这个安装有效，但问题是它给我带来了几个错误，尤其是我想修复的 log4j 错误。我按照这些说明操作，但仍然显示错误。

" 将 log4j.rootCategory 属性值设置为 WARN，控制台。保存 log4j.properties 文件。"

标签： pythonapache-spark

Answer 1

您需要下载 winutils.exe.Path https://github.com/steveloughran/winutils

这是在 windows 中运行 spark 所必需的。并将其保存在路径中（如果不存在，则创建路径）C:\winutils\bin。

参考Spark 1.6 - 无法在 hadoop 二进制路径中定位 winutils 二进制