azure-storage - 使用数据工厂根据 Datetimestamp 列从存储帐户中选择文件

Question

我需要根据与使用 Azure 数据工厂的文件关联的时间戳，根据以下条件将文件从 Azure 存储帐户复制到其他存储帐户。

因此，每当数据工厂触发复制活动时，应根据文件的时间戳列在 7PM UTC 到 8AM UTC 之间复制文件。

假设我们将以下文件放入 Storage

文件 名时间戳

文件1 -----> 2021-11-01 6.30PM

文件2 -----> 2021-11-01 9.00PM

文件3 -----> 2021-11-02 6.00AM

所以在上面的场景中，我的复制活动应该根据它的时间戳提取 File2 和 File3 。从晚上 8 点到早上 7 点出现。

我尝试在复制活动中使用Filter by last modified Start time (UTC)选项来实现相同的功能，但我的表达式未正确验证。

在这里的任何帮助将不胜感激

标签： azure-storageazure-data-factory-2

Answer 1

如果您的输入日期格式：2021-11-04 11:53:00.0000000 那么您需要在您的toTimeStamp函数中使用'yyyy-MM-dd HH:mm:ss.SSS'，所以您可以尝试这样的事情 - toTimestamp(' 2021-11-04 11:53:00.000', 'yyyy-MM-dd HH:mm:ss.SSS')将其转换为所需的格式。

请参考https://docs.microsoft.com/en-us/azure/data-factory/connector-file-system?tabs=data-factory