apache-spark - 使用 databricks 进行 twtter 情绪分析 - 运行官方教程的问题

Question

我开始使用 Databricks 并尝试从网站实施官方教程之一（https://docs.microsoft.com/en-gb/azure/azure-databricks/databricks-sentiment-analysis-cognitive-services）。但是，我遇到了一个问题——甚至不确定我是否可以称之为问题——当我运行第二个笔记本（analyzetweetsfromeventhub）时，所有命令（第二个、第三个、第四个......）都在正式等待运行，但从不运行. 看图片。知道可能是什么吗？谢谢。

标签： apache-sparktwitterazure-eventhubazure-databricks

Answer 1

在连接到 Databricks 运行时集群的笔记本中取消正在运行的流单元后，您将无法在笔记本中运行任何后续命令。命令处于“等待运行”状态，您必须清除笔记本的状态或分离并重新连接集群，然后才能在笔记本上成功运行命令。

请注意，仅当您取消单个单元格时才会出现此问题；当您运行所有并取消所有单元格时，它不适用。

同时，您可以执行以下任一操作：

• 要在不重新启动集群的情况下修复受影响的笔记本，请转到笔记本的清除菜单并选择清除状态：

• 如果重启集群是可以接受的，您可以通过关闭空闲上下文跟踪来解决问题。在集群上设置以下 Spark 配置值：

  spark.databricks.chauffeur.enableIdleContextTracking false

  然后重启集群。