azure-pipelines - Azure 数据工厂数据流“设备上没有剩余空间”

Question

我在 Azure 数据工厂中运行一个管道，其中包含一些源和转换的数据流，但管道运行了大约 40 小时，然后失败并出现错误：

有一种方法可以调试此错误的原因吗？或者“设备上没有剩余空间”是什么意思？

使用的数据位于数据湖中，然后尝试沉入 Azure Synapse DB。

谢谢

标签： azure-pipelinesazure-data-factoryazure-data-flow

Answer 1

这是来自幕后工作的 Spark 错误。由于这是一个未捕获的异常，我建议您打开 Azure 支持票证，以便我们的工程师可以为您找到根本原因。

这里的根本原因可能是由于工作时间太长而导致工人填满。为避免这种情况，我建议实施性能最佳实践来缩短工作时间，因为 40 小时太长了。

谢谢，丹尼尔