azure - 数据流无法从源 .csv azure 捕获行更改

Question

我的想法是使用 upsert 将 csv 文件作为源和突触表作为接收器。每当我在数据流源预览中更改 csv 文件的行时，它都会显示旧数据。

这是我的源代码预览

这是我的源文件，我将最后一个指标更改为 FALSE 并将其上传到 blob。

我再次运行源仍然指标的预览是对旧数据的引用

我的来源设置

数据集设置 -

标签： azurecsvazure-data-factorydataflow

Answer 1

如果您在同一连续数据流调试会话中更改源数据，则源数据将缓存在 Spark 数据帧中。您将需要使缓存无效。您可以通过更改源转换的名称来做到这一点。这将迫使 ADF 重新读取源数据。在数据预览中点击“刷新”之前，将名称“source1”更改为“source”。