时间戳

首页 > 解决方案 > 在 Databricks 中哪里可以找到火花日志

pyspark - 在 Databricks 中哪里可以找到火花日志

问题描述

我正在尝试从 Databricks 获取火花日志并检查发送到 SNowflake 的连接字符串。在什么路径可以找到火花日志？

我已经启用了这个跟踪选项，但我是否需要为 spark 启用一些额外的日志记录：

sfOptions = {
"sfURL" : "test.eu-central-1.snowflakecomputing.com",
"sfUser" : "user",
"sfPassword" : **********
"sfDatabase" : "db",
"sfSchema" : "sch",
"sfWarehouse" : "wh",
"tracing" : "all",
 }

谢谢

标签： pysparkapache-spark-sqldatabricks

解决方案

这实际上取决于信息将记录在哪里 - 仅记录在驱动程序上，或者也记录在执行程序上。如果您导航到 Cluster UI，您将看到两个选项“Driver Logs”和“Spark UI”。第一个将让您访问给定集群的所有驱动程序日志，您可以通过第二项访问执行程序和驱动程序日志 - 它只是一个标准的 Spark UI 选项。

您还可以配置将日志传递到 DBFS，在这种情况下，您可以将它们从指定位置下载到本地计算机以进行更多调查（例如，通过databricks-cli）

推荐阅读