amazon-s3 - 有没有办法在文件上传到 S3 存储桶时通知 Azure 数据工厂？

Question

我们需要将文件从 S3 复制到 ADLS。我们将使用协调器作业接收 S3 存储桶中的文件。是否有一种方法可以在文件放入 S3 存储桶时通知 ADF，以便它可以复制到 ADLS？

标签： amazon-s3notificationsevent-handlingazure-data-factoryazure-data-lake

Answer 1

数据工厂不能直接这样做。它不支持监听 Amazon S3，只支持Blob 存储的事件触发。

如果你想这样做，你需要使用其他服务，逻辑应用程序有 Amazon S3 的触发器：当 S3 对象被上传时：

这是解决方法：

1. 使用参数创建数据工厂以将文件从 S3 复制到 ADLS
2. 上载 S3 对象以获取 S3 中的文件名时带有触发器的逻辑应用
3. 添加操作创建管道运行以运行数据工厂管道并将触发器输出文件名作为参数传递。

逻辑应用概述：

HTH。