apache-spark - 在数据块上运行 spark 时出错：构造函数 public XXX 未列入白名单

Question

我正在使用 azure databricks 并尝试从此页面运行一些示例 python 代码：https ://spark.apache.org/docs/latest/ml-pipeline.html

并得到了这个异常： py4j.security.Py4JSecurityException: Constructor public org.apache.spark.ml.classification.LogisticRegression(java.lang.String) 未列入白名单。

谢谢。立东

标签： apache-sparkpysparkdatabricks

Answer 1

使用启用凭据传递的高并发集群时，某些库方法会出现此错误。如果这是您的方案，则可以选择使用不同的集群模式。

py4j.security.Py4JSecurityException: ... is not whitelisted 当您访问 Azure Databricks 未明确标记为对 Azure Data Lake Storage 凭据直通群集安全的方法时，将引发此异常。在大多数情况下，这意味着该方法可以允许 Azure Data Lake Storage 凭据直通群集上的用户访问其他用户的凭据。

参考：https ://docs.azuredatabricks.net/spark/latest/data-sources/azure/adls-passthrough.html